GPU量化

生成式人工智能（AI）在过去的一年里迅速发展，尤其是文本生成领域备受欢迎。开源项目如llama.cpp、vLLM、MLC-LLM等不断进行优化，以提高生成模型的性能。作为机器学习社区中备受欢迎的框架之一，PyTorch自 …