Braintrust

将追踪发送到 Braintrust

Braintrust 是用于评估、监控和改进 LLM 应用的端到端平台。

第 1 步：获取 Braintrust API 密钥和项目 ID

在 Braintrust 中，前往 账户设置（Account Settings） 创建 API 密钥，并在项目设置中查找 Project ID。

第 2 步：在 OpenRouter 中启用广播

前往 设置 > 可观测性（Settings > Observability），打开 启用广播（Enable Broadcast） 开关。

第 3 步：配置 Braintrust

点击 Braintrust 旁的编辑图标，并填写：

• Api Key：你的 Braintrust API 密钥
• Project Id：你的 Braintrust 项目 ID
• Base Url（可选）：默认为 https://api.braintrust.dev

第 4 步：测试并保存

点击 测试连接（Test Connection） 验证配置。仅当测试通过时才会保存配置。

第 5 步：发送测试追踪

通过 OpenRouter 发出一次 API 请求，然后在 Braintrust 中查看该追踪。

自定义元数据

Braintrust 支持自定义元数据、标签以及嵌套 Span 结构，便于组织 LLM 日志。

支持的元数据键

示例

{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Generate a summary..." }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_id": "eval_run_456",
    "trace_name": "Summarization Eval",
    "generation_name": "GPT-4o Summary",
    "eval_dataset": "news_articles",
    "experiment_id": "exp_789"
  }
}

指标与费用

Braintrust 会接收每次 LLM 调用的详细指标：

• Token 计数（提示词、补全、总量）
• 可用时的缓存 Token 用量
• 受支持模型的推理 Token 计数
• 费用信息（输入、输出、总费用）
• 持续时间和时间指标

补充说明

• user 字段会映射到 Braintrust 元数据中的 user_id
• session_id 字段会映射到元数据中的 session_id
• 自定义元数据键会包含在 Span 的 metadata 对象中
• 标签会透传，便于在 Braintrust UI 中筛选

隐私模式

当该目标端启用 隐私模式 时，追踪中会排除提示词和补全内容。其余追踪数据——Token 用量、费用、时间信息、模型信息以及自定义元数据——仍会正常发送。详情见 隐私模式。