Reka AI发布190亿参数全能模型Rho-1,单一网络处理文本图像视频与机器人控制
Reka AI发布Rho-1研究预览版,这是一个190亿参数的omni模型,在同一个神经网络中处理和生成文本、图像、视频及机器人控制动作,所有模态以token形式运行在共享上下文窗口中,无需工具调用或外部模型。
AI解读:Rho-1与多数AI系统的差异在于架构选择:它不将任务路由到专用模型,而是让所有模态以token形式进入同一个共享上下文窗口,不调用工具或外部模型。
Reka AI称Rho-1能实时生成连续视频,并在不重启的情况下响应新指令。同一组权重既预测摄像头图像,也驱动机器人运动。
为应对机器人训练数据稀缺,Reka AI构建了一个逆向动力学模型,从普通互联网视频中提取控制信号。
Rho-1训练使用320块H100 GPU,耗时约三个月。Reka AI在2024年4月曾发布多模态语言模型Reka Core,与GPT-4、Claude 3和Gemini Ultra在基准测试中竞争。
Reka AI发布Rho-1研究预览版。据The Decoder报道,这是一个190亿参数的omni模型,在单一神经网络中处理和生成文本、图像、视频以及机器人控制动作。
与多数将任务路由到专用模型的AI系统不同,Rho-1将所有模态作为token运行在同一个共享上下文窗口中,无需工具调用或外部模型。
Reka AI表示,该模型能实时生成连续视频,并在不重启的情况下响应新指令。预测摄像头图像的同一组权重也用于驱动机器人运动。
训练数据与算力
据The Decoder报道,为解决机器人训练数据稀缺的问题,Reka AI构建了一个逆向动力学模型,从普通互联网视频中提取控制信号。
Rho-1的训练使用了320块H100 GPU,耗时约三个月。
- 190亿参数
- 训练算力:320块H100 GPU
- 训练时长:约三个月
- 逆向动力学模型从互联网视频提取控制信号
Reka AI的多模态背景
Reka AI并非多模态AI领域的新进入者。2024年4月,该公司发布了Reka Core,这是一个多模态语言模型,在基准测试中与GPT-4、Claude 3和Gemini Ultra竞争。
- 2024年4月发布Reka Core
- Reka Core为多模态语言模型
- Rho-1为研究预览版