Deepseek R1 本地部署完全手册
70B模型:需3张以上80G显存显卡(如RTX A6000),单卡⽤户不可⾏。 671B模型:需8xH100集群,仅限超算中⼼部署。 2. 替代⽅案: 个⼈⽤户推荐使⽤云端API(如硅基流动),免运维且合规。 3. 国产硬件兼容性:需使⽤定制版框架(如昇腾CANN、沐曦MXMLLM)。 llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S0 码力 | 7 页 | 932.77 KB | 7 月前3清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单
参数规模),使其在本地部署中表 现出色,适合存储和计算资源有限 的端侧设备。 实时性 在端侧设备上,DeepSeek 能够满足实时性要求,例如 在智能家居、自动驾驶等场 景中,推理延迟低至毫秒级。 硬件兼容性 支持英特尔、英伟达等主流硬 件 平 台 , 并 可 通 过 AnythingLLM和Ollama等工 具实现PC本地部署,保护数 据隐私的同时满足定制化需求。 离线能力 DeepSeek0 码力 | 85 页 | 8.31 MB | 7 月前3普通人学AI指南
0.1:8080 32 Figure 36: 打开 MaxKB 不过这里需要提供登录账号和密码,初始账号:admin,初始密码:MaxKB@123.. 登录进去后,初次登录到 MaxKB 后,需更改登录用户名和登录密码。看到 创建应用程序的界面如图 37所示: 33 Figure 37: MaxKB 界面 5.5 构建第一个私人知识库 我们先尝鲜它的知识库搭建,所以选择知识库导航这里,如图0 码力 | 42 页 | 8.39 MB | 7 月前3
共 3 条
- 1