OpenRouter 安全与可观测

OpenRouter 安全与可观测

Datadog

1 分钟阅读

Datadog

将追踪发送到 Datadog

借助 Datadog LLM Observability,你可以排查问题根因、监控运行性能,并评估 LLM 应用的质量、隐私与安全性。

第 1 步:创建 Datadog API 密钥

在 Datadog 中,前往 组织设置 > API 密钥(Organization Settings > API Keys) 并创建新密钥。

第 2 步:在 OpenRouter 中启用广播

前往 设置 > 可观测性(Settings > Observability),打开 启用广播(Enable Broadcast) 开关。

启用广播

第 3 步:配置 Datadog

点击 Datadog 旁的编辑图标,并填写:

  • Api Key:你的 Datadog API 密钥
  • Ml App:应用名称(例如 "production-app"
  • Url(可选):默认为 https://api.us5.datadoghq.com。其他区域请自行修改
Datadog 配置

第 4 步:测试并保存

点击 测试连接(Test Connection) 验证配置。仅当测试通过时才会保存配置。

已配置 Datadog

第 5 步:发送测试追踪

通过 OpenRouter 发出一次 API 请求,然后在 Datadog 中查看该追踪。

Datadog 追踪

自定义元数据

Datadog LLM Observability 支持标签和自定义元数据,便于组织和筛选追踪。

支持的元数据键

Datadog 映射说明
trace_idTrace ID将多次请求归入同一条追踪
trace_nameSpan Name根 Span 的自定义名称
span_nameSpan Name中间工作流 Span 的名称
generation_nameSpan NameLLM Span 的名称

标签与元数据

Datadog 使用标签来筛选和分组追踪。以下内容会自动添加为标签:

  • service:{ml_app} - 你配置的 ML App 名称
  • user_id:{user} - 来自请求中的 user 字段

trace 中的其他键会传入 Span 的 meta 对象,可在 Datadog 的追踪详情中查看。

示例

{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Hello!" }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_name": "Customer Support Bot",
    "environment": "production",
    "team": "support",
    "ticket_id": "TICKET-1234"
  }
}

在 Datadog 中查看

在 Datadog LLM Observability 中,你可以:

  • 在追踪列表中按标签筛选追踪
  • 在追踪详情面板中查看自定义元数据
  • 使用元数据字段创建监控器和仪表盘

隐私模式

当该目标端启用 隐私模式 时,追踪中会排除提示词和补全内容。其余追踪数据——Token 用量、费用、时间信息、模型信息以及自定义元数据——仍会正常发送。详情见 隐私模式