Comet Opik

将追踪发送到 Comet Opik

Comet Opik 是用于评估、测试和监控 LLM 应用的开源平台。

第 1 步：获取 Opik 凭据

在 Comet 中设置 Opik 工作区和项目：

1. 登录你的 Comet 账户
2. 创建或选择用于存放 LLM 追踪的工作区
3. 在工作区内创建一个项目
4. 前往 设置 > API 密钥（Settings > API Keys） 创建或复制 API 密钥

第 2 步：在 OpenRouter 中启用广播

前往 设置 > 可观测性（Settings > Observability），打开 启用广播（Enable Broadcast） 开关。

第 3 步：配置 Comet Opik

点击 Comet Opik 旁的编辑图标，并填写：

• Api Key：你的 Comet API 密钥（以 opik_... 开头）
• Workspace：你的 Comet 工作区名称
• Project Name：用于记录追踪的项目名称

第 4 步：测试并保存

点击 测试连接（Test Connection） 验证配置。仅当测试通过时才会保存配置。

第 5 步：发送测试追踪

通过 OpenRouter 发出一次 API 请求，然后在 Opik 项目控制台中查看该追踪。

自定义元数据

Comet Opik 支持在追踪和 Span 上附加自定义元数据，便于组织和筛选 LLM 评估。

支持的元数据键

示例

{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Evaluate this response..." }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_name": "Response Quality Eval",
    "generation_name": "Quality Assessment",
    "eval_suite": "quality_v2",
    "test_case_id": "tc_001"
  }
}

补充说明

• trace 中的自定义元数据键会同时包含在追踪和 Span 的 metadata 对象中
• 费用信息（输入、输出、总量）会自动添加到 Span 元数据
• 可用时，模型参数和结束原因会包含在 Span 元数据中
• user 字段会映射到追踪元数据中的用户标识
• Opik 内部使用 UUIDv7 格式作为追踪和 Span ID；原始 OpenRouter ID 会作为 openrouter_trace_id 和 openrouter_observation_id 存储在元数据中

隐私模式

当该目标端启用 隐私模式 时，追踪中会排除提示词和补全内容。其余追踪数据（Token 用量、费用、时间信息、模型信息以及自定义元数据）仍会正常发送。详情见 隐私模式。