人工智能

现在越来越多人想自己跑本地模型，但一上来就被各种参数搞晕了——多少B、量化、KV Cache、Prefill、多人并发，到底哪个决定显存大小？ 正好Kimi-K3开放了权重，我们就拿它当例子，把账算清楚。 工具地址：Kimi K3官网 一、参数和量化：模型本身有多"重" 模型有多少参数，决定了它最基本的"体重"。 精度 每个参数占多少 10B参数需要 32B参数需要 FP16/BF16