NVIDIA与IIT Madras开源2.8万亿token印度语言预训练语料及生成流水线
NVIDIA联合IIT Madras的AI4Bharat发布Nemotron-pretraining-Indic-v1，覆盖22种印度语言、约2.8万亿token，并公开用于翻译、质量评估和修复的GPU加速数据生成流水线。
AI解读：这篇稿件发布的是Nemotron-pretraining-Indic-v1语料及配套开源生成流水线，由NVIDIA与IIT Madras的AI4Bharat合作完成，作者名单同时包含两家机构人员。语料规模约2.8万亿token，覆盖印度宪法列出的22种语言；按Hugging Face博客的说法，这些语言是97%印度人的第一语言，对应2011年人口普查约12亿人。
语料分为两组：12种语言同时提供原生文字和罗马化数据，另外10种仅提供原生文字，共34种语言-文字配置。博客称语料包含2,601.0亿原生文字token和224.6亿罗马化token，使用Gemma-4 tokenizer计数。罗马化指用拉丁字母书写印度语言，并非英语翻译。
生成流程从15个Nemotron-CC-v2子集抽取英语文档，使用NVIDIA开源的NeMo Data Designer执行文档级翻译、质量评估和定向修复。12种语言的工作流使用Gemma-4-31B-it，评估采用受MQM启发的评分标准，保留得分不低于75分的输出，低分输出依据反馈修复后重新评估；博客称该修复过程挽回438.4亿token。
另10种语言使用Bodhan AI的Indic Translate翻译，再由Gemma-4-31B-it评估。
博客称每条记录可追溯至源文档，输出与输入对照，以减少幻觉内容。原生文字翻译通过检查后，部分再转换为拉丁字母，并对照原生文字输入检查，博客称初期人工比较显示这种两步法比直接从英语生成罗马化文本产生的幻觉添加和残留英语更少。
Nemotron 3.5 Super VL在Indic持续预训练阶段配置1000亿训练token预算，其中10%（100亿）分配给合成与自然印度语言文本混合，其余90%维持原比例。博客称在MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy和Indic GSM8K五个基准上分数均有提升，增幅为4.98至9.82个百分点；该比较跨整个训练阶段，未单独区分合成语料的贡献。
博客列出的限制包括：翻译不能替代原本用印度语言撰写的文本，也不保证覆盖本地知识与文化；质量评估以自动化为主，人工抽样审查覆盖因语言而异；12种语言工作流中翻译模型同时担任评判；源ID检查只去除处理重复，而非语义去重；10种语言工作流需要更广泛的母语者验证。AI4Bharat与NVIDIA另在建设Indic-LLM-Eval-Suite基准集。
NVIDIA与IIT Madras的AI4Bharat实验室发布Nemotron-pretraining-Indic-v1，约2.8万亿token，覆盖印度宪法列出的22种印度语言，并同步公开用于生成该语料的GPU加速数据流水线。
博客称这22种语言是97%印度人的第一语言，按2011年人口普查对应近12亿人。语料由NVIDIA与IIT Madras的AI4Bharat合作开发，作者名单包含两家机构人员。
按博客披露，语料含2,601.0亿原生文字token和224.6亿罗马化token，计数使用Gemma-4 tokenizer。12种语言同时提供原生文字和罗马化数据，另外10种仅提供原生文字，共34种语言-文字配置。
语料构成与语言范围
原生文字数据覆盖孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语、乌尔都语，以及阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语、信德语。
其中孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语、乌尔都语同时提供罗马化数据。罗马化指用拉丁字母书写印度语言，并非英语翻译；对每种双文字语言，罗马化覆盖被接受的原生文字翻译的一个子集。
博客说明，文档记录包含共享源文件的翻译和文字变体，并非唯一英语文档的计数；token计数描述的是保留语料，包含被接受的改写，而非某次训练运行的token预算。
生成流水线与质量检查
数据构建从15个Nemotron-CC-v2子集抽取英语文档，覆盖网页文本、问答、数学、代码等专门内容，使用NVIDIA开源的NeMo Data Designer执行翻译、质量评估和定向修复。
12种语言的工作流先整篇翻译文档以利用跨段落、表格和公式的上下文，译者模型为Gemma-4-31B-it。之后用同一模型对照英语原文评估输出质量，评分标准受Multidimensional Quality Metrics (MQM)启发，涵盖语义、流畅度、术语、风格和格式，只保留100分制下不低于75分的输出，博客明确该分数是评分标准分，不是准确率百分比。
低于阈值的输出依据评估反馈修复并重新评估，博客称该过程挽回了438.4亿token，已计入语料总量。被接受的原生文字翻译再作为罗马化数据的起点，部分转换为拉丁字母并对照原生文字输入检查。
其余10种语言改用Bodhan AI的Indic Translate文档级翻译模型，再由Gemma-4-31B-it评估，只保留不低于75分的输出，仅产生原生文字数据，不做基于反馈的重写。对较长的桑塔利语文档采用重叠窗口翻译后重建；曼尼普尔语先译成孟加拉文再转成其原生文字Meitei Mayek。
模型训练结果与归因限制
博客引述Nemotron 3.5 Super VL技术报告，称Indic持续预训练阶段配置1000亿训练token预算，其中10%（100亿token）分配给合成与自然印度语言文本的混合，其余90%维持前一阶段训练配方的相对比例。
该报告称在MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy和Indic GSM8K五个印度语言知识与推理基准上分数均提升，增幅4.98至9.82个百分点。博客注明这是阶段级检查点比较，合并了合成与自然印度语言数据，未单独区分合成语料的贡献；GSM8K因评估超出服务上下文限制不含奥里亚语。
与上一代Nemotron 3 Super相比，博客称Nemotron 3.5 Super VL在六个任务基准中的五个更高，覆盖知识、推理、数学、代码和翻译；IFEval 1.5指令跟随下降2.04个百分点。在Sarvam AI的IndiVibe基准全部四个维度上也有提升，但博客注明这是初步的条件偏好分数，不是直接对决胜率。
使用方式与公开限制
数据集配置使用语言、文字和地区标签，例如hi-Deva-IN表示天城文印地语，hi-Latn-IN表示罗马化印地语。博客建议先加载模型所需语言和文字，查看样本并阅读数据集卡和许可证后再训练，并提醒固定数据集版本以保证可复现。
NeMo Data Designer的Nemotron Bharat翻译插件公开了翻译与评估提示、可选的基于反馈重写、文档窗口化和文字重映射支持。博客建议先用少量自有源文档试运行，检查翻译质量以及代码、数学和格式的保留情况，再经母语审校者调整提示和检查项后放大。
博客列出的限制包括：翻译不能替代原本用印度语言撰写的文本，也不保证覆盖本地知识与文化；质量评估以自动化为主，人工抽样审查覆盖因语言而异；12种语言工作流中译者同时担任评判；源ID检查去除处理重复，并非语义去重；10种语言工作流需要更广泛的母语者验证。
博客还提到，AI4Bharat在NVIDIA支持下正在建设Indic-LLM-Eval-Suite，用于评估印度语言模型的任务表现和语言质量。技术细节见配套报告《Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs》及Nemotron 3.5 Super VL技术报告。