量化模型

在人工智能的浪潮中，大型语言模型（LLMs）如GPT系列的模型已成为研究和工业界的热点。然而，这些模型的高计算成本和存储需求限制了它们在资源受限环境下的应用。AutoGPTQ作为一个易于使用的量化包，基于GP …