DeepSeek 推出 NSA，用於超快速的長上下文訓練和推理
深潮 TechFlow 消息，2 月 18 日，據金十報導，Deepseek推出NSA。 DeepSeek稱，NSA是一種與硬件一致且本機可訓練的稀疏注意力機制，用於超快速的長上下文訓練和推理。 通過針對現代硬件的優化設計，NSA加快了推理速度，同時降低了預訓練成本，而不會影響性能。 在一般基準測試、長上下文任務和基於指令的推理上，它的表現與完全注意力模型相當甚至更好。
深潮 TechFlow 消息，2 月 18 日，據金十報導，Deepseek推出NSA。 DeepSeek稱，NSA是一種與硬件一致且本機可訓練的稀疏注意力機制，用於超快速的長上下文訓練和推理。 通過針對現代硬件的優化設計，NSA加快了推理速度，同時降低了預訓練成本，而不會影響性能。 在一般基準測試、長上下文任務和基於指令的推理上，它的表現與完全注意力模型相當甚至更好。