创新的本质是组合

作者：fin（twitter.com/fi56622380）

我一直有个暴论，所谓的创造力和想象力，是愚蠢的人类发明出来自我安慰的概念

想象力的本质，就是面对复杂度高一点的没见过的组合，觉得很新颖，自己以前没想象过，于是硬造出来一个词语形容这种能力。创造力同理，把大家觉得无关联/弱关联的事物组合出新的系统/方向，获得了超出预期的效果

生物角度来说，人脑是无法想象自己没见过的东西的，人类的本质就是一个复读机，无法真正"凭空想象"出东西，不可能突破知识边界的封锁

所以想象力本质上是一种"组合各种可能性"的能力: "connecting the dots"

所以机器的创造力/想象力的来源，可能会跟人类理解的创造力完全不一样：就是看机器组合各种信息的能力(包括评估结果)什么时候复杂度能超过人类，对各个组合好坏的评估能力是不是和人类一致方便人类理解

诗云里的上帝最大的问题，就是缺乏一个对各种组合结果的评估能力，而这个能力是可以通过训练完成的，Meta的Toolformer就是最近的一个例子

创新的本质是组合，想清楚这一点，是我2023年最大的收获之一

往大里一点说，人类文明发展本质上取决于复杂组合能力：通过归纳组合不停的拓展知识边界

前一阵openAI宫斗剧才爆出来的Q*算法，本质上是强化学习里Q learning和A star算法，和LLM组合起来。而A* 算法又相当于是把搜索和目标函数组合起来

最近的LLM发展，其实很多效果不错的方法，都是AI/ML领域里的老方法新用在了LLM上，比如Tree o Thought，LLM blender这类ensemble method都是ML里古老的思想了

麦克斯韦方程（描述电磁场以及如何随时间变化/相互作用），精妙之处在于把几种数学现象和几种电磁现象组合起来，把这种微妙的看似不同现象的弱联系组合起来，就是最伟大的天才，让人的感官有无比愉悦的感受：原来电磁的关系是如此的简洁优雅

乔布斯著名的"connecting the dots"，本质上也就是在自己的人生经历dots里寻找更合理和更有价值的组合，动画/图形学+人机交互+电脑组合起来，成就了一个新王国

艺术里的很多让人眼前一亮的创新（或者爆款），实际上也是某些场景和某些表现方式（叙事模式）或是某种新技术的组合，效果会非常好

有了这个指导思想，其实能推广到很多领域

应用领域的科研，如果说我们把某一个领域里最近几年100个最有启发性的idea，作为X维度和Y维度两两组合（当然不靠谱的是绝大多数），然后去归纳总结组合起来最有价值的idea组合，也许有1%的组合会很有价值，但更重要的是如何去识别把两种组合重新归纳成一种新的理论框架的可能性，或者用一个idea去解决另外一种方法里的特殊限制，获得更泛化能力的方法

芯片设计领域，可以借鉴一些AI/ML/操作系统/networks/SW architecture的idea和思维方式，抽出100个启发性的idea，和芯片领域里各个层面(arch/DV/perf)去寻找组合，有太多太多可以革新的地方

往更本质里说，寻找组合方式是一种更本质的能力，这种能力需要的检索弱关联的能力，而检索弱关联的能力需要更高的智能，或者说意味着更高的智能，因为这需要的是一些比常见尺度更大尺度（时间，空间，数量）上的特征的弱matching，或者更小尺度特征（一些微妙而反常的现象）的弱matching，而这些能力需要match特征之后还能在及其有限的试错机会里去找到检索结果里最有可能成功的组合

这也是为什么，很多伟大的科学发现都是靠直觉性的灵光一现，那就是大脑里检索到了一些不易发现的弱关联之处

人类所谓的举一反三能力，实质上是一种根据归纳来的弱特征检索类似特征的能力，这种检索能力如果放到计算机里，体现出来就是搜索能力

那么甚至可以更进一步，在AI领域，把LLM和搜索组合起来，用搜索技术去解决寻找组合（Alpha Go就是搜索剪枝，Google擅长），形成一种泛化的寻找组合和评价组合的能力（就像引文里提到的那样），AI的能力就又能上一个新台阶："创新能力"

所谓的成熟技术，就是已经知道的或者常用(强关联)的组合方式，或者说基于当前环境变量和知识图谱，降落在可能性最大的地方。而创新能力，就是不常用（所谓弱关联）或者概率较低的组合方式，或者说是排列组合后以前认为可能性较小的地方

就像刚才说到的科研一样，AI能力也许有更进一步的可能

在找到高效的组合之后，把两种组合重新归纳成一种新的理论框架，那就是AI更进一步的高阶能力了，等到了这一步，AI能力在人类ranking又会大幅提高了（我一直认为评价AI的能力，应该按人类中的ranking来算）

来源：网页链接 

AD：【支付宝领红包】点此领取