安谋科技下代“周易”NPU成功部署DeepSeek-R1：速度高达40 tokens/s（周易.高达.部署）

2月14日，安谋科技宣布其新一代“周易”npu处理器已成功在端侧部署并运行deepseek-r1系列模型，展现出卓越性能和优异成本优势。“周易”npu架构针对ai大模型特性进行了优化，其beta测试版已于2024年底向早期用户开放，预计今年上半年正式发布。

安谋科技在Emulation平台和FPGA平台上快速完成了DeepSeek-R1 1.5B和7B蒸馏版本的部署和优化，并成功演示了端到端应用。测试结果显示，在标准单批次输入、上下文长度为1024的测试环境中，“周易”NPU在首字计算阶段的算力利用率超过40%，解码阶段的有效带宽利用率超过80%。其带宽利用率展现出高线性特性，能够灵活适应16GB/s至256GB/s的系统带宽需求。在7B版本、上下文长度为1024的场景下，"周易" NPU最高处理速度达到每秒40个tokens，同时支持动态长度的模型推理输入，并确保模型应用精度。

这一成果凸显了安谋科技软件栈对大模型的成熟支持和深度优化能力，包括动态推理优化和硬件算力潜力的挖掘，从而显著提升推理速度和吞吐量。目前，该软件栈已兼容Llama、Qwen、DeepSeek、ChatGLM、MiniCPM等主流大模型，并提供与Hugging Face模型库的对接工具链，方便用户直接部署主流模型。

硬件方面，新一代“周易”NPU采用7nm工艺制造，单Cluster算力最高可达80 TOPS，能够轻松应对超过16K上下文长度的大模型部署需求，同时对外带宽提升至256GB/s，有效解决了大模型计算的带宽瓶颈。它全面支持FP16数据精度计算和INT4软硬量化加速，并支持多核算力扩展，满足端侧模型的低首字延迟需求。此外，其强大的多任务并行处理能力，通过细粒度的任务调度和优先级资源分配，实现多任务灵活切换，确保传统语音、视觉业务和大模型应用的高效协同。

以上就是安谋科技下代“周易”NPU成功部署DeepSeek-R1：速度高达40 tokens/s的详细内容，更多请关注资源网之家其它相关文章！