經驗法則（RULE OF THUMB）
參數量 | 類別 | 代表模型 | 解碼速度 | 說明 |
|---|
~1B | 自然語言處理（NLP） | Qwen 3.5 0.8B
Qwen 3.5 2B（最低 Q8 量化） | 100+ 詞/秒 | 用於會話內（on-thread）語言理解，多用於摘要、命名實體識別（NER）、情感分析等。 |
1B–9B | 問答（QA） | Qwen 9B（E4B）
Ling Tiny | 100+ 詞/秒 | 簡單的面向用戶的問答，通常搭配 RAG 使用。 |
20B–35B（MoE） | 個人助理（PA） | Gemma 4 26B A4B
Qwen 3.6 35B A3B
North Mini Code | 75+ 詞/秒 | 個人助理。最低要求是可靠的工具調用能力（例如通過 BFCL 基準測試）。 |
25–30B（稠密） | 編碼核心（CODING CORE） | Qwen 3.8 27B | 45+ 詞/秒 | 用於交互式編碼智能體（agent），這類模型擅長核心編碼任務，但在全代碼庫級別的理解上較弱。 |
70B（稠密）/ 100–200B（MoE） | 代碼庫級（CODE BASE） | DeepSeek V4 Flash IQ2
Qwen 3.8 Next Flash IQ4 | 8+ 詞/秒 | "掛著整夜跑"檔位：適合全代碼庫級別的理解、深度研究和深度分析類工作負載。 |
200T+（稀疏） | 人類（HOMO SAPIENS） | — | 0.5 詞/秒 | 我把人類放在這裡，是為了直觀展示一個真正的人（我）生產內容時有多慢，作為一個參照基準。 |
以上數值是相對我的系統（1 塊 RTX 3090 + 96GB 內存）歸一化後的結果。當然，有些系統能跑到 GLM 5 或 MiMo，甚至用 122B+ 的模型也做不到這些檔位。
術語說明
T/S：tokens/s，每秒生成的詞元數
MoE：混合專家模型（Mixture of Experts）
DENSE：稠密模型（所有參數都參與每次計算，區別於 MoE）
Q8 / IQ2 / IQ4：量化精度等級（量化位數越低，模型越省資源，質量損失越大）
BFCL：Berkeley Function-Calling Leaderboard，工具調用能力基準測試