【添翼思维】DeepSeek之吾见

【技术创新】

· 基于Transformer架构的大模型：其完全继承了Transformer的核心组件，包括自注意力机制（Self-Attention）和前馈神经网络（FFN），这是所有现代LLM（如GPT等）的共同基础；

· 改进方向：超越了传统Transformer的LLM设计，在保持Transformer核心优势（并行性、长程依赖建模）的同时，针对其计算冗余性和内存占用高的痛点进行优化；

· 关键技术创新点：稀疏化与动态计算（MoE架构）、层次化注意力优化、硬件感知的模型压缩。

     【社会意义】

·   打破了硅谷的AI神话，一夜之间让英伟达的市值暴跌近17%。

·   鼓励了中国的技术产业，提高了中国社会对数学和算法重要性的认知水平。DeekSeek团队的技术理想主义将改善中国社会基于拿来主义的技术土壤，为人类做出与一个古老而伟大的民族其身份相匹配的科学和技术贡献。

·   在古典数学里，算法其实是中国的数学文化传统，而西方则传承自古希腊的公理化体系。在AI三要素（算法、算力、数据）中，算法的创新更适合中国人的思维方式。

·   AI开源化、平民化，让中小型企业用得起AI大模型，是DeepSeek对世界的贡献。

·   在地缘政治领域有巨大的价值。

总结一下：

·   DeepSeek大模型本质上是基于Transformer架构的深度改造。稀疏化、动态化和硬件协同优化三大策略既延续了Transformer的核心思想，又通过算法创新克服了其固有缺陷。

·   在保持LLM强大能力的同时，实现了成本和效率的突破；

·   突破性的技术创新、巨大的社会价值。

作为科技人员，在为DeepSeek欢欣鼓舞的同时，也需要保持清醒的头脑。我认识到，中国本土AI界的首次世界级成就的并不是DeepSeek，而是ResNet:

· 2015年，何恺明、张祥雨、任少卿和孙剑设计的ResNet (残差神经网络) 在ImageNet视觉识别挑战赛中夺冠。其论文在整个2010年代，一直保持AI论文引用率第一，对AI技术的发展影响深远。

· ResNet的“残差连接“网络设计技术使得拥有几十甚至上百层的深度学习模型更易于训练，增加模型深度时还能保持甚至提高准确度。“残差连接”这一概念也被应用于Transformer模型（比如BERT和GPT系列，ChatGPT等）、AlphaZero、AlphaStar以及AlphaFold等。如果没有ResNet的残差连接，训练网络深度极高的Transformer模型将无法取得成功。

· 这是何恺明等中国本土AI科学家的世界级贡献， 可惜除了AI学术界没有什么多少人知道。由于是非大众产品，没有引起广大人民群众的注意。这种现象，跟没多少人知道麦克斯韦，而爱迪生却家喻户晓是一样的；或者跟大众以为霍金的贡献比杨振宁的贡献要重要这个奇妙的现象其本质也是相通的。

两者各有其创新价值：

· DeepSeek贡献在于网络结构基础设计，而 DeepSeek 的创新在于训练方法和成本控制。两者都对深度神经网络的发展做出了重要贡献；

· ResNet 是基础性突破，影响到后来的Transformer的架构设计，对AI的技术发展产生了深远影响， 见下图；

深度神经网络AI的演进路径极简版

· DeepSeek 则是应用型创新，将AI做成白菜价，对AI的产业化发展影响深远。