OpenRouter 安全与可观测

OpenRouter 安全与可观测

W&B Weave

1 分钟阅读

W&B Weave

将追踪发送到 W&B Weave

Weights & Biases Weave 是用于跟踪和评估 LLM 应用的可观测性平台。

第 1 步:获取 W&B API 密钥

在 W&B 中,前往 用户设置(User Settings) 并复制 API 密钥。

第 2 步:在 OpenRouter 中启用广播

前往 设置 > 可观测性(Settings > Observability),打开 启用广播(Enable Broadcast) 开关。

启用广播

第 3 步:配置 W&B Weave

点击 W&B Weave 旁的编辑图标,并填写:

  • Api Key:你的 W&B API 密钥
  • Entity:你的 W&B 用户名或团队名称
  • Project:用于记录追踪的项目名称
  • Base Url(可选):默认为 https://trace.wandb.ai
W&B Weave 配置

第 4 步:测试并保存

点击 测试连接(Test Connection) 验证配置。仅当测试通过时才会保存配置。

已配置 W&B Weave

第 5 步:发送测试追踪

通过 OpenRouter 发出一次 API 请求,然后在 W&B Weave 中查看该追踪。

W&B Weave 追踪

自定义元数据

W&B Weave 支持自定义属性和结构化输入,便于组织和分析 LLM 调用。

支持的元数据键

Weave 映射说明
trace_idopenrouter_trace_id attribute存储在属性中的自定义追踪标识符
trace_nameop_name在 Weave 调用列表中显示的自定义操作名称
generation_nameop_nameLLM 调用的名称

示例

{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Write a poem about AI..." }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_name": "Creative Writing Agent",
    "prompt_template": "poem_v2",
    "experiment_name": "creative_benchmark",
    "dataset_version": "1.0.0"
  }
}

属性与输入

Weave 将追踪数据组织为:

  • 属性(Attributes):关于调用的元数据(用户 ID、组织 ID、追踪标识符、自定义元数据)
  • 输入(Inputs):实际请求数据,包括消息、模型参数(temperature、max_tokens 等)
  • 摘要(Summary):Token 用量、费用和时间指标

补充说明

  • user 字段会映射到属性中的 user_id
  • session_id 字段会映射到属性中的 session_id
  • trace 中的自定义元数据键会合并到调用的 attributes 中
  • 模型参数(temperature、max_tokens、top_p)包含在 inputs 中,便于筛选

隐私模式

当该目标端启用 隐私模式 时,追踪中会排除提示词和补全内容。其余追踪数据(Token 用量、费用、时间信息、模型信息以及自定义元数据)仍会正常发送。详情见 隐私模式