LLM Gateway

OpenAI / Anthropic 互換の LLM 呼び出しです（SaaS 版のみ）。リクエスト / レスポンスは各社のネイティブ形式に準拠するため、既存の OpenAI SDK / Anthropic SDK の base URL を差し替えるだけで使えます。

差し替えたあとは、モデルの選定・コストの上限・アクセス制限・利用状況の把握を Gateway 側に任せられます。モデルを変えても増やしても、アプリケーションのコードはそのままです。

経由すると何が変わるか

	LLM Gateway が引き受けること
SDK はそのまま	OpenAI / Anthropic のネイティブ形式に準拠。コードの変更は base URL と API キーだけ
キーは 1 本だけ	アプリが持つのは `agtstr_...` の 1 本。各プロバイダの認証キーは Gateway 側の接続設定が保持します
モデルの差し替えにアプリ改修が要らない	アプリは管理者が決めた公開モデル名で呼びます。実際の接続先（OpenAI / Azure / 自前ホストなど）は管理画面のモデル定義で決まるため、乗り換えてもコードは変わりません
複数の接続先を 1 つの名前で束ねられる	同じ公開モデル名に複数の接続先を登録し、重みと優先度で振り分けられます
難易度に応じた自動ルーティング	同じモデル名に高 / 中 / 低のティアを登録しておくと、プロンプトの難易度に応じて自動で振り分けます。開発者はモデル名を指定するだけです
コストに上限を掛けられる	モデルごとに日次予算を設定できます。超えたリクエストは `429` で止まります
アクセス元を絞れる	許可 IP を登録して有効にすると、許可外のネットワークからは `403` になります
利用状況が 1 か所に集まる	モデル・プロバイダ・トークン数・コスト・レイテンシを、管理画面とシステム連携 API で確認できます

設定はすべてセットアップガイドにあります。

モデル ID はハードコードしない

利用できるモデルはテナントごとに管理者が定義するため、環境によって異なります。GET /llm/v1/models で動的に取得してください。

サーバーサイドからの利用を前提としています

ブラウザからの直接呼び出し（クロスオリジン）は既定で許可されていません。詳しくはリファレンスを参照してください。

ツール実行・成果物・会話履歴などエージェントの機能が必要な場合は、API を使ってください。

SDK から呼び出すの手順で、base URL を差し替えて最初のリクエストを送ってみてください。