出品|网易科技《态度AGI》栏目
|丁广胜
一个小时之前,月之暗面创始人 杨植麟 在北京与网易科技等媒体见面,内容无他,只和最新模型有关,针对“登月计划”的关键一步 数学 模型k0-math。
这是月之暗面对于大模型下一步发展的思考,即让大模型思考。
杨植麟说月之暗面接下来探索的关键有两个, 一个是强化学习,一个是数学场景。
大约400年前, 伽利略 著名的论断说, 宇宙 是一本用数学语言写成的“宏伟之作”。
杨植麟引用伽利略的这句话,阐述了月之暗面对于数学场景布局的判断。
基准测试显示,Kimik0-math的数学能力可对标全球领先的OpenAIo1系列可公开使用的两个模型:o1-mini和o1-preview。
在中考、高考、考研以及包含入门竞赛题的MATH等4个数学基准测试中,k0-math初代模型成绩超过o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库OMNI-MATH和AIME基准测试中,k0-math初代模型的表现分别达到了o1-mini最高成绩的90%和83%。
杨植麟表示, Kimi探索版也通过运用强化学习技术创新了搜索体验,在意图增强、信源分析和链式思考三大推理能力上实现突破。
“k0-math模型和更强大的Kimi探索版, 未来几周将会分批陆续上线Kimi网页版和Kimi智能助手APP ,帮助大家解决更有挑战的数学和搜索调研类任务。”
以下为杨植麟对话媒体现场实况记录(AI转录,经人类精选、删减):
问:为什么时候决定聚焦kimi的?
杨植麟:今年三四月份。我们主动选择做业务上的减法,聚焦把最重要的事情做好,始终保持大模型公司里人最少的,卡和人的比例最高的。
把一个产品做好,做到极致,是最重要的,我们不希望人数涨的特别猛,我们不能活生生把自己变成大厂。
问:现在都在谈应用,但超级应用迟迟没有出现,为什么?
杨植麟:已经出现了,ChatGPT有5亿月活,这就是超级应用。我们会根据美国市场的情况,来调整自己,选择一条河AGI愿景更贴合的路。
问:你如何看待大模型预训练?
杨植麟:预训练还有半代到一代模型的空间,这个空间明年就会释放出来,也就是说,明年基本上领先的模型会把预训练做到比较一致的阶段。
但我们判断,强化学习是一个重点。只是用不同的方式去做。我对ScalingLaw还是乐观的。
问:你们为什么不做多模态?
杨植麟:已经在内测了。AI思考和交互,我们看重这两个能力,思考是决定上限,交互是必要条件。
问:你们和豆包竞争比较激烈,同一赛道,接下来如何应对?
杨植麟:竞争本身并不产生价值,我们做好模型思考推理能力,给用户带来价值,做正确的事情,而不是专门做不一样的事情。
问:kimi最核心的任务是什么?
杨植麟:提升留存。这是当前最重要的事情,还有非常大提升的空间。我们离AGI的距离还处于初级阶段
问:如何解决模型过渡思考的问题?
杨植麟:因为我们现在没有对他的长度做任何的限制,所以他想想多少就想多少,我就让他自由的思考。问题出现在奖励上。
问:如果解决数据问题,让数据实现更大价值?
杨植麟:对强化学习来讲是核心的问题,数据是自己生成,奖励模型的效果会有更大的挑战,核心是训练更好的模型。
问:行业发展到今天,还有不少难题待解决,比如算法算力数据的平衡问题?
杨植麟:AI的发展是一个荡秋千的过程,两种状态之间来回切换,算力不够需要好算法,那没有高质量的数据也会成为问题,那就是让算法改变让这个事情不成为瓶颈。有时候加再多的卡业不可能提升效果。
问:你如何看待大模型的成本问题,有好的解决办法了吗?
杨植麟:接下来的版本会让大家去做选择。早期会用之前的方案来给用户好的体验,接下来会动态分配算力,模型足够聪明的话知道自己需要想多久、思考时间更短。另外算力成本的下降也是一个关键因素。
问:如何看待AI人才回流大厂?
杨植麟:月之暗面没有遇到这样的问题。这是正常的,行业发展进入新的阶段,之前做这个事的公司很多,现在做的公司少了,这是行业发展的规律。
问:这次发布数学模型,是不是数学和普通人比较远?
杨植麟:教育产品价值很大。在我们现有流量里面也可以看到这一点。
问:什么时候出海?
杨植麟:先聚焦再全球化,我们有耐心。
关于《态度AGI》
网易科技重磅推出系列对话栏目《态度AGI》。过去三年,AI变革风起云涌,全球科技秩序正在重构,通往AGI的道路或许正在悄然临近。本栏目以AGI为题,将对话100位AI专家、企业家、投资人,试图拨开云雾,与大家一道见证AGI时代的到来。 第二十一期对话月之暗面Kimi创始人杨植麟。
往期回顾:
对话朱啸虎:5年后将没有独立的大模型公司存在,因为没有商业模式
对话智谱AI CEO张鹏:视频生成是AGI必经之路,超级App将在“不知不觉”中到来
对话科大讯飞副总裁、研究院院长刘聪:中国大模型已从追赶对标走向自主原创
对话彩云科技CEO袁行远:超越ChatGPT,需要打开“黑盒”
对话宇树创始人兼CEO王兴兴:通用机器人的iPhone时刻还需要3-4年