OpenRouter 安全与可观测

OpenRouter 安全与可观测

Langfuse

1 分钟阅读

Langfuse

将追踪发送到 Langfuse

Langfuse 是用于追踪、评估和调试 LLM 应用的开源 LLM 工程平台。

第 1 步:创建 Langfuse API 密钥

在 Langfuse 中,前往项目的 设置 > API 密钥(Settings > API Keys) 并创建新的密钥对。同时复制 Secret Key 和 Public Key。

Langfuse API 密钥

第 2 步:在 OpenRouter 中启用广播

前往 设置 > 可观测性(Settings > Observability),打开 启用广播(Enable Broadcast) 开关。

启用广播

第 3 步:配置 Langfuse

点击 Langfuse 旁的编辑图标,并填写:

  • Secret Key:你的 Langfuse Secret Key
  • Public Key:你的 Langfuse Public Key
  • Base URL(可选):默认为 https://us.cloud.langfuse.com。其他区域或自托管实例请自行修改
Langfuse 配置

第 4 步:测试并保存

点击 测试连接(Test Connection) 验证配置。仅当测试通过时才会保存配置。

已配置 Langfuse

第 5 步:发送测试追踪

通过 OpenRouter 发出一次 API 请求,然后在 Langfuse 中查看该追踪。

Langfuse 追踪

自定义元数据

Langfuse 支持丰富的追踪层次结构和元数据。使用 trace 字段可自定义追踪在 Langfuse 中的呈现方式。

支持的元数据键

Langfuse 映射说明
trace_idTrace ID将多次请求归入同一条追踪
trace_nameTrace Name在 Langfuse 追踪列表中显示的自定义名称
span_nameSpan Name层次结构中中间 Span 的名称
generation_nameGeneration NameLLM 生成观测的名称
parent_span_idParent Observation ID关联到追踪层次结构中已有的 Span
environmentEnvironment填充 Langfuse 项目筛选器使用的一等字段 Environment(例如 productionstaging)。同时作为资源属性和观测属性发出。
releaseRelease与该追踪关联的应用发布/版本。同时作为资源属性和观测属性发出。

示例

{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Summarize this document..." }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_id": "workflow_12345",
    "trace_name": "Document Processing Pipeline",
    "span_name": "Summarization Step",
    "generation_name": "Generate Summary",
    "environment": "production",
    "release": "2.1.0",
    "pipeline_version": "2.1.0"
  }
}

这会在 Langfuse 中创建层次化的追踪结构:

Document Processing Pipeline (trace)
└── Summarization Step (span)
    └── Generate Summary (generation)

补充说明

  • user 字段会映射到 Langfuse 的 User ID,用于用户级分析
  • session_id 字段会映射到 Langfuse 的 Session ID,用于归组对话
  • trace 中的其他键会作为追踪元数据传递,可用于 Langfuse 中的筛选和分析

隐私模式

当该目标端启用 隐私模式 时,追踪中会排除提示词和补全内容。其余追踪数据——Token 用量、费用、时间信息、模型信息以及自定义元数据——仍会正常发送。详情见 隐私模式