2月18日，DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告，论文主要内容是关于NSA（Natively Sparse Attention，原生稀疏注意力），官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

具体来说，NSA针对现代硬件进行了优化设计，能够加速推理过程，同时降低预训练成本，且不牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

记者注意到，在这篇名为《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》（Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention）的论文署名中，DeepSeek创始人梁文锋也作为共创在列。

在论文中，DeepSeek团队表示，业界越来越认识到长上下文建模对于下一代大型语言模型的重要性，推动这一需求的应用包括深度推理、仓库级代码生成和多轮自主代理系统。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。

论文提到，理论估计表明，在使用softmax架构（‌一种用于多分类问题的神经网络架构）时，注意力计算占解码64k长度上下文总延迟的70%-80%，这凸显了对更高效注意力机制的迫切需求。

记者将这一论文提供给DeepSeek，并让其评价对业界的影响与意义，DeepSeek称，这一技术的核心价值在于平衡效率与性能，既降低计算成本，又保持甚至提升模型能力。对行业而言，NSA为处理长上下文任务提供了一种高效的解决方案，有助于推动更强大、更经济的语言模型的发展，尤其是在需要处理长文本的应用场景中。

NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千轮客服场景），扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。例如，Gemini 1.5 Pro已展示长上下文潜力，NSA可进一步降低此类模型的训练与推理成本。

此外，DeepSeek提到，NSA能够降低算力门槛与部署成本。端到端稀疏训练可以减少预训练所需的计算资源（如减少A100 GPU小时数），降低企业开发大模型的资金与技术门槛。同时，可以加速推理，使长文本生成（如代码补全、故事续写）的实时性更高，适用于边缘设备或低延迟场景。

一位X用户在DeepSeek帖子下表示，“NSA 机制改变了游戏规则。超快速长上下文训练对于扩大教育领域 AI 至关重要，这与个性化学习愿景完美契合。”还有网友对此调侃“RIP Nvidia”。

自1月20日发布DeepSeek-R1并搅动AI圈以来，DeepSeek方面一直较为低调，这是这么多天以来DeepSeek唯一发布的技术动态。

“DeepSeek team is cooking! ”（DeepSeek 团队正在积极工作！）有X网友表示。

举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。 文章作者

刘晓洁

相关阅读 DeepSeek在ESG实践中的问题分析

通过专业机构以DeepSeek为基础进行ESG垂直模型的训练，是DeepSeek应用于ESG领域更为高效的路径。

71 昨天 22:18 “万有AI力”的时代到来了

电力便宜，中国制造起来了。AI只有便宜了，才能像电一样无处不在。

364 03-08 11:35 AI进化速递丨Manus官方回应未参与加密货币等项目

Manus社交账号被冻结，官方回应未参与加密货币等项目；新开普：星普大模型内部测评智能推理效果与DeepSeek-R1相近，算力消耗约其1/20。

47 03-07 20:59 AI进化速递丨DeepSeek回应“理论日利润346万元”

DeepSeek最高日赚346万元？官方称理论收益并非实际；清华大学2025年将适度扩招本科生，重点培养“AI+”拔尖创新人才。

31 03-02 20:35 AI周报 | OpenAI发布GPT-4.5；DeepSeek最高日赚346万元

英伟达2025财年营收同比增长114%；阿里巴巴开源万相2.1视频生成模型。

168 03-02 09:58 一财最热 点击关闭