LLM Observability Starter

LLM Observability Starter 是一个可自托管的 LLM 可观测性采集组件，适合需要统一观察应用、模型网关、RAG 服务和 agent runtime 中模型调用的团队。

它通过轻量 HTTP API 记录 trace、延迟、token 用量、成本、fallback、错误、用户反馈和评测结果。组件可以独立运行，也可以作为 LLM Gateway 的事件采集端。

包含内容

模块	内容
采集 API	POST /v1/events/llm-call, POST /v1/events/feedback, POST /v1/events/eval-result
查询 API	GET /v1/usage, GET /v1/traces/{trace_id}, GET /v1/export/llm-calls.csv
运行方式	FastAPI 服务，使用 Docker Compose 部署
存储	SQLite 持久化，适合本地和自托管部署
SDK	轻量 Python emitter client
Agent handoff	AGENT.md 和 CONTRACT.yaml，用于 coding agent 集成

代码仓库

源代码托管在 GitHub：

github.com/supernature885/ai-radar-llm-observability-starter

快速启动

cp .env.example .env
docker compose up --build

记录一次 LLM 调用：

curl http://localhost:8010/v1/events/llm-call \
  -H "Authorization: Bearer local-observe-key" \
  -H "Content-Type: application/json" \
  -d '{
    "trace_id": "trace-demo",
    "request_id": "req-demo",
    "app": "example-app",
    "provider": "openai",
    "model": "gpt-4o-mini",
    "status": "success",
    "latency_ms": 820,
    "input_tokens": 1200,
    "output_tokens": 180,
    "cost_usd": 0.0012
  }'