少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

这期的嘉宾淏楠非常「折腾」。他读过五个大学，读着觉得没意思就换，也是少有的同时做过 Agent、多模态、RL 和具身的人，而且总是做一些逆势而为（非主流）的选择：他曾在陈天桥和代季峰两位老师的 MiroMind 工作，是最早一批做 Agent 的人，却在 Agent 最热的时候放弃更丰厚的 package，转向多模态。在混元负责多模态 RL infra、主导推出开源多模态强化学习框架 UniRL 之后，他最近又换了方向，去了一家具身公司负责模型训练。其实，Astra 的出现给具身行业带来了不小的震动，也似乎抹平了各家此前在「大脑」上积累的优势。淏楠在此时入局，总有那么一丝「49 年加入国军」的意味。不过，这些选择看似很跳，但背后的思考一脉相承，既关乎个人志趣，也有对技术发展和未来空间的判断。所以从 Agent 到多模态再到具身，一路做下来，淏楠收获了什么？这几个方向的实际进展，与外界的感知又有哪些不同？前段时间很火的 Minimax H3、GPT Astra，到底会带来哪些改变？这期播客，我们就沿着他的经历聊了下来。聊到最后，淏楠谈起具身很兴奋。现在入局具身，可能不但不是 49 年入国军，反而恰好赶上了具身的 GPT-3 时刻？【人类博物馆】导游：曲凯，42章经创始人54 号珍藏：王淏楠，前腾讯混元多模态 RL infra 负责人、主导开源多模态强化学习框架 UniRL，曾在 MiroMind 参与 Agent 研发，现于某具身智能公司负责基模预训练。【时光机】Part 1 从 Agent 到多模态02:03 为什么会从在 MiroMind 做 Agent，转去在混元做多模态 RL infra？06:13 国内外 RL 的差距到底在哪？07:45 Agent 和多模态的关系其实可以很紧密08:56 做 Agent 和做多模态，其实都是围城11:32 大厂不太能做具身？12:37 多模态最后只有两条变现途径Part 2 聊聊视频生成14:11 Seedance 到底为啥这么好？15:14 多模态的竞争可能没那么激烈？16:26 视频生成现在发展到什么程度了？19:20 「抽卡」依然会存在，但概念可能会发生变化21:37 视频生成继续发展下去，可能会解锁什么样的机会？22:22 MiniMax H3 到底什么水平？23:54 实时互动的技术真的成熟了吗？Part 3 从多模态到具身27:45 好多人做世界模型都做迷茫了…30:55 做具身的两种正确路线32:22 为什么 Astra 给具身圈子带来了比较大的震动？37:27 聊聊具身训练的 reward 和数据40:12 具身的「大脑」，最后会变成大模型厂商的竞争吗？41:59 在现在这个时间节点去做具身，是不是 49 年入国军？45:24 Agent 开发的场景还是不够多46:42 多模态还有创业公司的机会吗？47:38 具身里可能迎来了 GPT-3 时刻？【The gang that made this happen】制作人：陈皮剪辑：二琳、陈皮片头：Mondo Bongo - Joe Strummer & The Mescaleros片尾：Alpine Decline - I Got Up (Just Like John Sinclair Told Us To)在小宇宙查看该单集文稿