LLM Gateway Starter

LLM Gateway Starter 是一个面向生产接入的模型网关 starter kit，适合希望把模型调用从业务代码中抽离出来、统一治理多模型访问的团队。

它提供 OpenAI-compatible API，业务侧可以通过修改 base_url 接入。网关内部用配置文件管理模型别名、fallback 链路、限流策略和用量统计，这些文件也方便 coding agent 读取并继续集成。

包含内容

模块	内容
API	GET /health, GET /v1/models, POST /v1/chat/completions, GET /admin/usage
运行方式	FastAPI 服务，使用 Docker Compose 部署
路由	YAML 模型别名、primary provider 和 fallback provider
治理	API key 认证、内存限流、token 和成本估算
Agent handoff	AGENT.md 和 CONTRACT.yaml，用于 coding agent 集成
测试	Pytest 测试和 mock provider 模式，无需真实外部 API key

代码仓库

源代码托管在 GitHub：

github.com/supernature885/ai-radar-llm-gateway-starter

快速启动

cp .env.example .env
docker compose up --build

调用网关：

curl http://localhost:8000/v1/chat/completions \
  -H "Authorization: Bearer local-dev-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "default",
    "messages": [{"role": "user", "content": "用一句话解释这个 gateway。"}]
  }'