随着多模态大模型的快速发展，当前主流多模态大模型具备完成多种任务的能力（图文描述、视觉问答、文字识别、图标理解、目标检测等）。但是，这些不同的多模态任务往往具有完全不同的数据分布，导致在模型训练过程中遇到“多任务冲突”的问题，尤其在模型参数量较小时，这种问题尤为突出。如何才能在有限增加模型参数量以及训练成本的条件下，高效地扩展模型容量，缓解多模态大模型“多任务冲突”问题？
近日，针对这一挑战，来自大模型初创公司智子引擎的研究团队开源了基于MoE架构的多模态大模型Awaker2.5-VL。Awaker2.5-VL通过设置多个专家，扩展了模型在不同任务上的能力，有效地缓解了多模态“多任务冲突”的问题。该模型还对MoE中门控网络的路由策略进行了细致的研究，并设计了一个简单且十分有效的路由策略，提升了模型训练的稳定性。目前，Awaker2.5-VL的论文和代码已经公开，后续还会更新更强的版本。
论文地址:https://arxiv.org/abs/2411.10669
代码仓库:https://github.com/MetabrainAGI/Awaker
模型架构
Awaker2.5-VL采用参数高效的LoRA-MoE架构，如下图（左）所示。该架构包含多个Task Expert和一个Global Expert，分别学习专用知识和通用知识，每个专家都是一个LoRA结构。此外，该架构还包含一个门控网络用于控制专家的激活。这种MoE架构可以在Attention、MLP等结构中执行快速插入的操作，并且还可以通过调整每个LoRA的秩自行调整模型的参数量。Awaker2.5-VL还设计了一个简化版的MoE架构，如下图（右）所示，在这个简化版MoE中，门控网络被移除，而是由其它层MoE共享的路由结果控制专家的激活。Awaker2.5-VL在基座模型中的不同模块穿插使用这两种MoE架构。
Awaker2.5-VL采用的两种MoE架构
Awaker2.5-VL针对MoE架构中门控网络的路由策略进行了研究，并设计了一种简单且有效的Instance-level的路由策略。该策略将图片和问题的Embedding作为门控网络的输入，并且为了保持训练和推理时路由的一致性，训练时数据中的label部分不参与路由。此外，与传统MoE不同的是，Awaker2.5-VL每一层MoE的门控网络都共享相同的输入。这种简单高效的路由策略降低了模型的复杂度，提高了模型的稳定性。
模型训练
Awaker2.5-VL以Qwen2-VL-7B-Instruct作为基座模型进行实现，总模型参数量为10.8B。训练分为三个阶段，如下图所示。第一阶段，初始化训练。在该阶段基座模型被冻结，并设置一个单LoRA进行训练。第二阶段，MoE训练。该阶段进行整个MoE模块的训练（包括每个专家和门控网络），其中每个专家都使用第一阶段训练的LoRA进行参数初始化。第三阶段，指令微调阶段。该阶段将MoE的门控网络冻结，仅训练每个“专家”，将进一步加强模型的指令跟随能力。同时，该阶段的训练策略也适用于基座模型在其他下游任务微调的场景。
Awaker2.5-VL的三阶段训练过程
模型性能
Awaker2.5-VL主要在MME-Realworld系列和MMBench系列Benchmark上分别进行了中文测评和英文测评。MME-Realworld是当前最难、规模最大多模态评测基准，而MMBench是主流多模态大模型参评最多的评测基准之一。
Awaker2.5-VL在MME-Realworld和MME-Realworld-CN都位列榜首，且是目前唯一在该Benchmark上“及格”（超过60分）的模型。考虑到MME-Realworld主要面向自动驾驶、遥感、视频监控等复杂场景，Awaker2.5-VL在MME-Realworld上的出色表现很好地展示它在落地应用中的巨大潜力。
Awaker2.5-VL分别在MMBench、MMBench_v1.1、MMBench_CN、MMBench_CN_v1.1四个榜单进行了测评，并且分别以英文能力平均分数（MMBench和MMBench_v1.1）和中文能力平均分数（MMBench_CN和MMBench_CN_v1.1）进行排序。Awaker2.5-VL在中文场景和英文场景中分别位列第9和第7。在同量级参数量的模型中，Awaker2.5-VL表现远超其他模型。这就是说Awaker2.5-VL能够兼顾模型效果和资源消耗，也进一步证明它具有极大的落地应用价值。
模型应用
2024年，智子引擎已经成功地将Awaker2.5-VL应用于多个复杂的实际场景，包括国家电网、社会治理、服务型机器人等。在即将到来的2025年，智子引擎将继续探索Awaker2.5-VL更多的落地应用场景。为了鼓励这种探索，智子引擎选择开源Awaker2.5-VL，基于战略合作伙伴清昴智能的华为昇腾原生工具链MLGuider-Ascend，Awaker2.5-VL已适配昇腾全产品线，希望更多生态伙伴能够参与进来。同时，为了加速国产化AI进程，Awaker系列开源模型与清昴智能已形成标准的昇腾国产方案，将上线至昇腾平台，欢迎大家关注和使用。
超级智能体生命力觉醒！可自我更新的AI来了，妈妈再也不用担心数据瓶颈难题
全球AI研究者面对数据瓶颈难题，苦寻解决方案。 在多模态任务中，这一问题尤为突出。 近期，人大系初创团队智子引擎推出自家新模型Awaker 1.0，率先实现模型生成数据自我喂养，同时在理解与生成侧双管齐下，生成高质量多模态数据，对模型进行数据反哺。 Awaker 1.0采用MoE模型架构，解决多模态多任务训练冲突问题，能更好地学习多模态通用能力及各任务独特能力，提升整体能力。 智子团队构建自有评测集，结果显示Awaker 1.0在视觉问答和业务应用任务上超越GPT-4V、Qwen-VL-Max和Intern-VL，在描述、推理和检测任务上达到次好效果，平均分最高，证实MoE架构的有效性。 Awaker 1.0在中文OCR和计数任务、详细描述任务中表现突出，准确给出答案，且在图片内容理解任务中能详细描述图片内容并准确识别细节，如可口可乐。 VDT，智子引擎自主研发的类Sora视频生成底座，展现出强大能力，被接收于ICLR 2024会议。 Awaker 1.0是世界首个能自主更新的多模态大模型，具备实时持续更新能力，包含自主学习、自动反思和自主更新三大关键技术。 通过与数字世界和现实世界的交互，以及执行任务过程中的场景行为数据反哺，Awaker 1.0实现理解和生成的融合。 Awaker 1.0在互联网上实时学习，将新知识融入模型参数，实现自我更新。 连续三天的自我更新过程中，Awaker 1.0学习当天新闻信息，并在描述中准确表述。 这一能力不仅解决了数据瓶颈难题，还提升了模型在具身智能场景中的适应性和创造性，实现与具身智能的深度融合。 通过与智能设备的云边协同，Awaker 1.0作为云端大脑，观察、指挥和控制边端智能设备执行任务。 在电网智能巡检、智慧城市等应用场景中，Awaker 1.0与智能设备结合，取得远优于传统小模型的识别效果，展现了多模态大模型在实际应用中的潜力和价值。 综上，Awaker 1.0通过自主更新机制，打破数据短缺瓶颈，为多模态大模型的持续学习和自我进化提供可能，同时利用云边协同技术，解决具身智能等智能体设备的具体应用场景，朝着AGI迈进了一步。
国内首个！最火的MoE大模型APP来了，免费下载，人人可玩
国内首个免费MoE大模型APP：天工AI智能助手现已上线
在MoE模型热潮中，天工AI智能助手凭借其革新性突破，打破了常规。 搭载昆仑万维最新发布的天工2.0大模型，这款应用在千亿参数基础上，采用了与GPT-4相似的MoE架构，无需付费即可畅享。 它具备强大的多模态能力，支持100K超长上下文，处理复杂任务和多模态任务表现出色，响应速度显著提升。
升级后的天工2.0大模型，凭借16个专家模型的精准分工，提升了理解力、灵活性和安全性。 在最新版APP中，你可以体验到上传Excel分析数据、智能哄女朋友、甚至分析面相等多样化功能。 此外，它在处理超长上下文中展现出了卓越的准确性和高效性，如在“大海捞针”测试中，正确率高达100%。
昆仑万维作为国内大模型领域的重要玩家，早在去年就展示了强大的研发实力。 天工AI智能助手的免费开放，不仅降低了AI技术的使用门槛，也体现了昆仑万维致力于让每个人都能更好地利用AI塑造自我。 通过联网智能搜索、数据分析、多模态对话等功能，用户可以直观地感受到AI技术带来的便利与创新。
春节前，天工AI智能助手更推出“巧绘龙年”AI绘画大赛，进一步拉近了AI与用户的互动。 昆仑万维的这一系列举措，预示着大模型应用的未来趋势——更易获取、更广泛的应用，将AI技术真正融入日常生活。
如果你对这些创新功能感兴趣，现在就去应用商店免费下载天工AI智能助手，开启你的AI探索之旅吧！
国内首个！最火的MoE大模型APP来了，免费下载，人人可玩
国内首个免费且面向大众的MoE大模型应用——天工2.0已正式登场！作为昆仑万维的最新力作，天工2.0基于千亿参数规模，采用了与GPT-4相同的MoE混合专家架构，具备强大的多模态能力，支持长达100K的超长上下文处理，显著提升复杂任务和多模态任务的性能。 用户现在即可在手机应用商店免费下载天工AI智能助手APP，感受其在数据分析、面相分析、图文对话等领域的出色表现。 天工2.0的核心优势在于MoE架构，它通过门控模型和专家模型的协同工作，每个专家模型专注于处理特定任务，提高了理解力、灵活性和准确性。 据推测，天工2.0可能包含16个专家模型，涵盖多种专业知识领域，如Python、图像解析、事实核查等，这使得其在应对复杂问题时更为高效。 升级后的天工AI智能助手拥有100K的超长上下文理解能力，在“大海捞针”测试中，其表现优异，准确率高达100%。 此外，它还能联网智能搜索，屏蔽虚假信息，深入挖掘用户意图，并通过检索增强技术提供高质量答案。 新版本还新增了数据分析、图文对话等众多功能，如让AI作诗、绘制图表和解析网络热梗，表现出强大的多模态和理解能力。 昆仑万维作为国内大模型领域的佼佼者，早在2020年起就开始布局，并已推出一系列AI产品，从大语言模型到AI搜索，都在推动AI技术的普及。 天工2.0的免费开放，体现了他们让AI技术惠及大众的愿景，预示着大模型时代的普惠趋势正在加速到来。 现在就下载天工AI智能助手，亲身体验MoE大模型的魅力，也许你将发现下一个创新玩法，开启AI新风尚。 每个人都有可能通过参与和创新，塑造AI的未来发展趋势。
