Databricks扩展Lakeflow Connect:接入Jira、Confluence、OpenAI等生产力与AI数据源
Databricks在博客中介绍,Lakeflow Connect新增面向协作工具、企业知识库、邮件以及OpenAI、Anthropic的托管连接器,把散落在生产力工具中的非结构化内容写入Unity Catalog表,供AI智能体检索使用。
AI解读:Databricks发布博客,介绍Lakeflow Connect在营销数据之后的第二个方向:从生产力与AI工具中摄取数据,以托管连接器方式落地为Unity Catalog中的受治理表。
连接器覆盖Jira、Monday.com、Smartsheet、Aha!、GitHub、Confluence、Notion、Glean、SharePoint、Google Drive、Outlook、Gmail,以及OpenAI和Anthropic。
非结构化文件按来源以不同形式落表:SharePoint与Google Drive的原始字节存入content列,Confluence页面正文以STRUCT存入body字段,Outlook邮件正文与附件分列存放,Gmail提供附件引用ID,GitHub文本文件存入repo_contents的content列。
原始字节类文件需先用Databricks的ai_parse_document转为文本,之后才能分块、嵌入并用于检索;文本类内容经轻量清理后可直接处理。
Databricks引用丰田金融澳大利亚、VaxCare、M3 Accounting、DigiCert、Orizon、TRegs等客户的表述,涉及Jira、Confluence、GitHub、SharePoint、Monday.com连接器的使用场景;这些均为客户自述,博客未提供独立的性能或成本数据。
OpenAI连接器引入用量、成本、API密钥、项目、用户和审计日志;Anthropic连接器引入审计日志、组织用户与角色以及claude.ai聊天内容,用于按团队归集AI支出并治理使用。
Databricks在官方博客中介绍Lakeflow Connect面向生产力与AI工具的数据摄取能力,列出可用的原生托管连接器,并说明非结构化内容如何以受治理表的形式进入Unity Catalog。该文是Lakeflow Connect系列的第二篇,此前一篇聚焦营销数据。
连接器覆盖哪些工具
博客按类别列出连接器:协作类包括Jira、Monday.com、Smartsheet、Aha! 和GitHub;企业知识类包括Confluence、Notion、Glean、SharePoint和Google Drive;邮件类包括Outlook和Gmail;AI类包括OpenAI和Anthropic。
Databricks称,连接器可通过点选界面或API配置,数据以增量方式摄取为Unity Catalog中的受治理表,用户无需自行配置、管理或扩展基础设施。博客称连接器的优先级由客户需求决定。
非结构化内容如何落到表里
不同来源的落表形式不同。博客给出的细节包括:SharePoint连接器把每个非结构化文件作为一行,原始字节存入content列(BINARY或FILE类型),并附带每个文件的元数据,Excel、CSV等结构化文件可直接落为Delta表;Google Drive对非结构化文件采用同样的按行存原始字节方式。
Confluence连接器把每个页面和博客文章的正文以STRUCT类型存入pages和blogposts表的body字段;Outlook把邮件正文以文本字符串存入full_body_content列,附件以BINARY存入attachments列,二者位于email_messages表;Gmail把完整邮件正文存入messages表,附件只摄取attachmentId引用;GitHub把仓库中的源代码、Markdown和配置文件存入repo_contents表的content列。
博客说明,Confluence页面、邮件正文、GitHub源文件等文本内容经轻量清理后即可分块和嵌入;SharePoint、Google Drive文件以及Outlook附件这类原始字节内容,需要先用Databricks内置的ai_parse_document转为文本,再进行索引和检索。
AI支出与Atlassian数据的用法
博客称OpenAI连接器引入用量、成本、API密钥、项目、用户和审计日志,用于按团队归集AI支出并跟踪采用情况;Anthropic连接器引入审计日志、组织用户与角色以及claude.ai聊天和消息内容,用于治理工具使用。Databricks将这两者描述为形成AI使用与采用趋势的统一视图,以便向相关方报告AI投资的回报。
在Atlassian生态方面,Jira连接器引入问题、评论、冲刺、看板和自定义字段,Confluence连接器引入页面与博客全文以及空间、标签和附件。博客称两者结合可并排查看交付与文档数据,用于跟踪发布、瓶颈和解决时间,并可在Databricks SQL中查询、用AI/BI Genie以自然语言提问。
客户说法与数据边界
Databricks在文中引用了多家客户的表述。丰田金融澳大利亚数据办公室负责人Charbel Khoury称,Jira连接器提供全托管、零维护的管道,自动处理API复杂性和schema变化。VaxCare优化与AI副总裁Yasaman Malone称,Confluence连接器把内部知识库送入Databricks,供其聊天机器人检索。
M3 Accounting数据与AI副总裁Ross Serven称,GitHub连接器数分钟内完成配置,每周约节省一小时,SharePoint连接器让内部知识助手在一周内用上实时内容。DigiCert数据工程高级总监Nikita Raje称,Confluence连接器让知识助手与最新文档保持同步。Orizon数据工程经理Gustavo Lima称,已将 168 个项目的超过 100 万张工单每日同步,成功率 100%。TRegs总裁兼CTO Smriti Raj称,把Monday.com与QuickBooks数据接入后用于Genie看板。
上述内容均为客户在Databricks博客中的自述,博客未提供独立的性能测试、成本对比或第三方验证。Databricks表示Lakeflow Connect正在各业务线陆续推出新连接器,并提供免费试用。