走的越快越进入空谷

最近有一些新的讨论，在这里记录一下

Token Generation真的是思考吗？还是说，人类的思考本质上也是一种Token Generation？

我之前一直认为Token Prediction/Generation是一种通过概率对思维的拙劣模仿，永远存在幻觉等问题，永远不能达到人类的高度。但是从来没有从反方向考虑，即既然神经网络是对人类神经的模拟，难道transformer不可以是对人类潜意识的一种模拟吗？如果是的话，那么是否可以看成是在芯片上实现了人类的思维。

从最近的CoT相关研究（Deepseek R1，K1.5）来看，通过大参数MoE和Reasoning带来的性能提升让我十分震撼地意识到，或许人类的思考本质上也是一种Token Generation，与此同时，Deepseek R1等模型学到的知识一定比我要多要广，那么我需要做的应该是借助他们的思维链来驱动各种AI工具的使用。

不如从自己造个轮子，再造个小应用开始

自动驾驶与AI编程有着有趣的相似性。刚有手机导航的时候，老司机总是不屑使用，而且老司机也总能找到更快的小路。当时人们总觉得自动驾驶是重点是地图，也只有像百度地图、谷歌地图这样的公司能做自动驾驶。但人们在高精地图上反复碰壁之后，到现在通过端到端方案才逐渐摸到了L3自动驾驶的地步。那么，对于像cursor的产品，是否可以类比为导航，而lovable这类的产品，可以类比为端到端的自动驾驶，当我们对Copilot吹捧，而对AutoPilot却不屑一顾时，是否也犯了老司机样的错误：lovable更加未来和本质，只是现在的模型性能不够

另一个例子是最开始的快手，只能呈现一些gif图，因为手机的性能只支持gif图，但他们在那个时候的目标就是短视频，而等待手机性能飞跃和4G网络普及之后，短视频才大行其道；特斯拉活到了最好的时候，产业、学术的自动驾驶和新能源技术都已经成熟，是否这才是时势造英雄？

对于上述两个场景，可能最重要的是在这个赛道上，在对的风口上。人才会自动地流向这些风口和赛道，当身处于此时，则更要保持住对创新的追求。这就像冲浪一样，只有把握好节奏一直在浪上，才不会被排在水里，在这个过程中，找到那个最大的、能冲最久的浪，不要被蝇头小利困住，就像诺基亚黑莓在手机行业被曾经的用户束缚一样，不要失去创新的能力。