详备先容了如安在土产货部署 DeepSeek R1 671B 模子（未经过蒸馏的齐全版块）的进程，相等是通过使用 Ollama 来结束土产货开动。
《好搭档》由离婚专门律师崔唯娜亲自执笔剧本，《花婆堂：朝鲜婚姻介绍所》、《吸血鬼侦探》金佳蓝担任导演，张娜拉、南志铉、金准韩、表志勋、池承炫、韩材利担纲主演。剧情讲述人气离婚律师车恩京陷入离婚危机，她与新人律师韩宥利经常因案件产生激烈冲突，一场律师间职场斗争即将上演的故事。
主要执行：
1. 模子聘用
• DeepSeek R1 671B 原始模子大小为 720GB，经过 Unsloth AI 的动态量化后，模子大小可压缩至 131GB（1.58-bit）至 212GB（2.51-bit），便于土产货用户开动。
• 著述推选了两种模子：
• `DeepSeek-R1-UD-IQ1_M`：1.73-bit 动态量化，158GB。
• `DeepSeek-R1-Q4_K_M`：圭臬 4-bit 量化，404GB。
2. 硬件条目
• 主要瓶颈在于内存（RAM+VRAM）：
• `DeepSeek-R1-UD-IQ1_M`：至少需要 200GB 内存。
• `DeepSeek-R1-Q4_K_M`：至少需要 500GB 内存。
• Ollama 复古 CPU 和 GPU 羼杂推理，迪士尼彩乐园官方不错凭据硬件确立转化。
• 推选的硬件包括：
• 高性能 Mac Studio（192GB 调处内存）。
• 高内存带宽处事器。
• 云 GPU 处事器（如 NVIDIA H100 80GB）。
3. 部署举止
• 下载模子文献（.gguf）并归拢。
• 装置 Ollama。
• 创建模子文献（Modelfile）以率领 Ollama 创建模子。
• 使用 Ollama 创建并开动模子。
• 淌若出现内存不及（OOM）或 CUDA 荒唐，转化`num_gpu`和`num_ctx`参数。
4. 性能不雅察
• `DeepSeek-R1-UD-IQ1_M`的随笔本生成速率为 7-8 tokens/s（使用 GPU），仅用 CPU 时为 4-5 tokens/s。
• `DeepSeek-R1-Q4_K_M`的随笔本生成速率为 2-4 tokens/s，长文本速率会降至 1-2 tokens/s。
• 4-bit 版块比 1.73-bit 版块更“安全”，倾向于拒却“冒犯性”或“愚蠢”的指示。
• 1.73-bit 版块偶尔会出现花样问题（如标签未正确配对）。
• 开动时 CPU 行使率很高，而 GPU 行使率极低（1-3%），瓶颈主要在 CPU 和 RAM。
5. 论断与冷落
• 淌若无法将模子整个加载到 VRAM 中，1.73-bit 版块更实用。
• 冷落将模子用于不需要长想考进程或浩繁对话的“轻量级”任务，因为跟着凹凸文长度的增多，生成速率会权臣下跌。
6. 其他执行
• 著述还提供了奈何装置 LLM 接口（如 Open WebUI）以及奈何通过 Cloudflare Tunnel 分享模子处事的冷落。
• 提供了模子性能的不雅察效果，包括对不同指示的反应花样。
迪士尼彩乐园稳定吗