Taxbit在Amazon Bedrock AgentCore上部署带引用、按角色授权的AI助手
Taxbit称其合规仪表盘内的AI助手Taxbit Assist自 2026 年 5 月起在美国和欧盟生产环境上线，答案附带可打开的来源链接，并在推荐工作流前检查用户角色与功能权限；超过 55% 的提问用户会在 24 小时内再次提问。
AI解读：Taxbit在AWS博客中披露，其嵌入式AI助手Taxbit Assist运行在Amazon Bedrock AgentCore上，从 2026 年 5 月起在美国和欧盟生产环境提供服务，欧盟流量在欧盟地理范围内完成推理。
助手回答必须能追溯到用户可打开的已发布来源（官网、API文档、帮助中心），代码生成文档与人工整理内容只用于支撑答案，不产生引用链接。
模型不接触身份信息：用户邮箱、组织ID和仪表盘角色由调用服务绑定到工具中，模型可以选择是否检查权限，但不能决定检查谁。
Taxbit称超过 55% 的提问用户会在 24 小时内再次提问，模型成本平均每次对话低于 20 美分，约四分之三输入token由提示缓存命中。
这一版本中助手没有读取客户税务数据的权限，唯一可写操作是创建、列出、更新和关闭提问者自己的支持工单，也不提供税务建议。
Taxbit在AWS机器学习博客中介绍了其嵌入合规仪表盘的AI助手Taxbit Assist，称该系统自 2026 年 5 月起在美国和欧盟生产环境运行，构建在Amazon Bedrock AgentCore上。该博客由Karan Nayak撰写，属于Taxbit与AWS方的技术说明，而非独立评测。
Taxbit称，超过 55% 的提问用户会在 24 小时内再次提问，这一数字来自其内部生产分析。
助手被限定在什么范围内
Taxbit将Taxbit Assist定位为产品文档问答工具：解释Taxbit如何计算成本基础属于产品文档，告诉用户选择哪种税务处理方法则属于税务建议，后一类回答被排除。
当前版本中，助手没有读取客户税务数据的权限，唯一可执行写操作的是提问者本人的支持工单，包括创建、列出、更新和关闭。每次推荐工作流前，助手会检查功能可用性和用户角色。
- 回答须附带用户可打开的来源链接；不知道答案时须明确说明。
- 不训练或微调任何模型；Taxbit称Amazon Bedrock不使用提示或补全内容训练模型。
- Taxbit称该助手按照ISO/IEC 42001开发和运营，公司另持有ISO/IEC 27001、ISO/IEC 27701认证和SOC 2 Type II报告。
权限和身份如何实现
Taxbit称，模型不处理身份信息。用户的邮箱、组织ID和角色由已认证的调用服务提供，并在模型看到之前通过闭包绑定到每个工具里。模型可以判断是否要检查权限，但无法指定检查谁，因为身份不是它能设置的参数。
每个请求先经过Amazon Bedrock Guardrails筛查，个人身份信息就地掩码，被拦截的消息不会触发模型。AgentCore运行时隔离每个会话，对话历史按内存、会话和actor ID分区；Taxbit强调actor ID必须来自调用服务，不能使用AWS调用身份，否则所有用户的历史会被分到同一分区。
- 密码、卡验证码、云访问密钥一律阻止进入模型。
- 社会安全号、ITIN、银行账号和路由号、IBAN等有固定格式的数字标识就地匿名化。
- 外部集成凭据存放在AWS Secrets Manager，运行时获取，不写入镜像或配置。
知识库的检索与引用规则
Taxbit称，大部分工程投入花在知识库上：Amazon Bedrock知识库后端使用Amazon S3 Vectors，嵌入模型为Cohere Embed English v3，生成 1,024 维float32向量，按余弦距离比较。内容来自三类：公开网站、API文档和帮助中心文章；从产品源代码生成的Markdown文档；人工整理的文章与已批准的更正。
检索时先取 75 个候选，经Cohere Rerank 3.5重排后保留前 12 个，再按每份来源文档最多 2 个片段截断，最终把前 5 个片段交给模型。Taxbit称，权威文章常排在向量检索的第 20 至 50 位，因此候选池保持较宽。
引用资格由代码按来源类型强制执行，而不是靠提示词约束：只有三类已发布来源可被引用，因为只有它们的URL能让客户打开。
- 网站sitemap约 400 多个URL，Taxbit称只有约 70 多个应进入生成答案的语料库，/blogs/下 300 多个营销页面被排除。
- 语义分块之外加入后处理：每段前置文档H1标题和导言段落，前缀上限约 128 token，片段正文上限 384 token，以适配嵌入模型 512 token的输入窗口。
- Taxbit称一次生产探测发现约 28% 的片段落在 385 至 512 token区间，尾部会被截断；加前缀是影响最大的检索改动。
生产环境的质量测量
Taxbit称，AgentCore在线评估从CloudWatch追踪中抽取 10% 的实时会话，用六个内置LLM评审指标打分，包括有用性、有害性、连贯性、指令遵循、工具选择准确性和工具参数准确性。
Taxbit在之上加入自建评审：一个Lambda函数分别评估答案对检索来源的忠实度和检索文章的相关性，因为答案可能忠实于本不该被检索到的来源；另一个基础模型分类器检查回答是否滑向税务建议。Taxbit称该分类器误报率接近零，而主题过滤器的误报率约为 25%。人工抽检中，客服专家提交的更正经批准后写入知识库的curated前缀，触发增量摄取，无需重新部署即可进入后续回答。
- 每次拉取请求都运行离线评估测试集，并每晚对生产环境运行一次。
- 合并先部署到预发布环境，再经人工审批进入生产。
- Taxbit称约四分之三输入token由提示缓存命中，模型成本降低一半以上。
Taxbit自述的局限与经验
Taxbit在文中列出几项如果要重做会不同的决定：先收紧语料库范围再调提示词；用自身流量校准Guardrails的个人信息检测强度，将PIN和银行路由检测器设为仅检测模式，使 1099 等表单编号可以通过而真实敏感值仍被标记；保持系统提示逐字节稳定以利用跨用户缓存；从第一个原型起就在代码中绑定身份，而非由模型把身份作为参数传给工具。
- 定制分块转换的中间存储必须使用独立于数据源桶的存储桶，同桶的不同前缀会被拒绝。
- 对已有数据源启用定制转换会触发替换，需要计划完整重新摄取。