关于
多模态是好的。
世界本身就是最好的模型,而经验是智能向它学习的方式。任何描述,无论多么宏大,都不如世界本身:世界不会过时,也不遗漏任何细节。思想可以在语言中走得很远,却无法在语言中检验自己。只有在预测落空、行动遇阻、世界作出回应并迫使它重新思考的地方,它才真正落了地。
这就是多模态成为智能前提的原因。要向世界学习,模型必须深入而频繁地感知世界。世界并非以文字的形式到来:它是落在表面的光,是黑暗中的声音,是屏幕上的运动,是一次触碰带来的后果。每一种信号都承载着其他信号没有说出的东西。只有把它们作为一条不间断的信息流一起接收,模型才能看见眼前的事物,察觉发生的变化,知道自己的行动造成了什么。
所以,我们构建活在这条信息流之中的模型。它们随着世界的展开去看、去听、去阅读;通过屏幕、游戏、对话,有朝一日通过身体,在世界中行动;不仅从人们写下的内容中学习,也从自己行动带回的结果中学习。每一次行动都是向世界提出的问题,每一个结果都是一个回答。我们的目标,是一种在生活中成长的智能:把它放进一个从未见过的世界,它就能在参与中学习。无论思绪飘得多远,它都会一次次回到赋予这些思绪意义的世界。
核心项目
起源
本组织由 Bo Li 与朋友们共同创立,并得到 Ziwei Liu 教授的大力支持。
