标签：显存

本地运行大模型入门：显存、量化与推理速度的关系

本地运行大模型入门：显存、量化与推理速度的关系

想在自己机器上跑大模型，先搞清楚显存能装下多大的模型、量化会损失多少质量、以及为什么速度往往比显存更早成为瓶颈。

admin admin 2026-08-31
0 0 0