Databricks MLflow成为Claude平台原生OpenTelemetry导出的支持目标
Databricks称,使用Anthropic SDK、Messages API和Managed Agents的开发者可将Claude的原生OTel trace经Zerobus Ingest写入与MLflow实验关联的Unity Catalog表,用于调试和评估agent。
Databricks博客称,Databricks MLflow现在可作为Claude平台原生OpenTelemetry导出的支持目标。据该文,使用Anthropic SDK、Messages API和Managed Agents的开发者可以把Claude的原生OTel trace发往Databricks,在MLflow中调试agent并评估改动。
接入范围与数据路径
来源列出的接入范围是Anthropic SDK、Messages API和Managed Agents。Anthropic SDK需要安装相应包,并配置OTel tracer provider和exporter,让SDK调用生成span;Messages API和Managed Agents则按Claude平台的OpenTelemetry指南配置Databricks目的地。
Claude Code和Claude Agent SDK也支持OpenTelemetry,来源称需在启动应用前设置额外变量,才能把它们的trace发到同一目的地。
数据路径上,Claude的原生instrumentation按OpenTelemetry Protocol导出span,Databricks通过Zerobus Ingest接收,并存入与MLflow实验关联的Unity Catalog表。Databricks称,Zerobus加Unity Catalog可带来两方面的好处:高QPS下低延迟摄取trace,以及对agentic trace中的敏感数据做访问治理;其中部分表述属于Databricks自身主张,来源未附具体性能数据。
trace能看到什么,受什么限制
来源说明,一个agent可能给出看似合理的答案,却漏掉重要发现或反复读取同一来源,仅凭答案本身无法解释原因;trace记录agent执行过程中的各个步骤(span),如模型请求和工具调用,可用于排查失败、找出相关案例并测试改动是否有效。
输入和输出仅在把content mode设为full时才会被捕获。这意味着要看到请求和响应的具体内容,需要显式选择开启。
在MLflow的Traces中打开一条trace,可查看模型调用、工具活动、时序以及被捕获的输入和输出;Unity Catalog控制对数据的访问,来源称也可以用SQL查询这些数据。
MLflow中的调试、复核与评估功能
MLflow的Analyze trace会调用Genie Code检查已记录的执行过程,帮助解释问题所在;开发者可以围绕缺失上下文、工具调用失败或高成本步骤追问,以决定是修改指令、改进工具还是调整提供给agent的上下文。
MLflow Issues处于Beta,来源称其用Genie Code识别反复出现的质量与运维问题,例如重复搜索浪费token、缺少参数导致工具失败、响应不符合格式要求,并把相关发现分组、链接到对应trace。该功能支持按计划运行检测,团队可设置频率、用元数据或标签聚焦特定流量,并自定义关注的问题类型;修复后还可用问题监控跟踪是否复发。
Review Queues面向需要领域知识的判断:复核者读取trace中的请求和响应,说明缺失内容并给出期望答案,这些反馈可用于改进agent并建立后续评估的参考回答。
MLflow Agent Evaluation用于比较改动前后的agent在相同案例上的表现;来源称,用相同judge对比评估运行,可在MLflow UI中查看分数与响应的并排结果,并用底层trace解释仍存在的失败。来源以判断agent是否发起冗余工具调用为例,展示了这类评估的写法。
设置步骤与来源说明
来源给出的三步是:在Databricks的Experiments中创建实验,Trace storage location保持Unity Catalog,选择已有的catalog和schema;用workspace ID、region和spans table配置Databricks目的地,并按Zerobus连接指南获取限定表范围的OAuth token;运行Claude agent后在实验的Traces中查看模型调用、工具活动、时序和输入输出。
来源在展示Issues的演示时注明,该手工编写的示例问题链接了三条受影响的Claude trace,但演示未实际运行Issue Detection。来源还提到,文中首个CTA项在发布前仍需补上Claude集成指南的专门URL。