メインコンテンツまでスキップ

LLM Gateway クイックスタート

OpenAI / Anthropic 互換の LLM を、お使いの SDK の base URL を差し替えるだけで呼び出せます（SaaS版のみ）。

はじめに​

LLM Gateway を利用するための最短ステップを紹介します。以下の3つのステップで LLM を呼び出せます。

LLM Gateway と エージェント API は別物です

LLM Gateway（/llm/v1/...）は OpenAI / Anthropic 互換の 素の LLM 呼び出し（ガバナンス付きプロキシ）です。自律エージェントを実行する エージェント API（/api/v1/chat/completions）とは別サービスです。ツール実行や成果物が必要な場合はエージェント API を利用してください。

前提条件
  • セットアップ が完了していること
    • 管理者が管理画面（Admin）で利用可能なモデルを定義済みであること
    • Console で LLM Gateway クライアントを作成し、API キー（agtstr_...） を取得済みであること

Step 1: 利用できるモデルを確認する​

利用可能なモデルは管理者が定義します。GET /v1/models で一覧を取得してください。

curl
curl https://api.fd.agenticstar.tm.softbank.jp/llm/v1/models \
  -H "Authorization: Bearer agtstr_..."

Step 2: LLM を呼び出す​

取得したモデル ID を指定して呼び出します。

Chat completion
1from openai import OpenAI
2
3client = OpenAI(
4  api_key="agtstr_...",
5  base_url="https://api.fd.agenticstar.tm.softbank.jp/llm/v1",
6)
7
8resp = client.chat.completions.create(
9  model="<GET /v1/models で取得したモデル ID>",
10  messages=[{"role": "user", "content": "こんにちは"}],
11)
12print(resp.choices[0].message.content)
認証方式

Authorization: Bearer agtstr_... のほか、Anthropic SDK では x-api-key: agtstr_... も利用できます。Client ID / Client Secret を用いた Client Credentials フローでも認証できます。

Step 3: ストリーミング​

stream を有効にすると、SSE でトークンを逐次受信できます。

Python
stream = client.chat.completions.create(
    model="<モデル ID>",
    messages=[{"role": "user", "content": "自己紹介して"}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

次のステップ​

さらに詳しい仕様と準備手順について、以下のドキュメントを参照してください。

📖LLM Gateway リファレンス
SaaS

全エンドポイント・エラー・制限の仕様

⚙️セットアップ
SaaS

管理者・開発者の準備手順