在加载模型一行后加上max_memory即可，超出显存后会自动移到内存。
model = AutoModel.from_pretrained('your_model', trust_remote_code=True, max_memory={0: "6GiB", "cpu": "10GiB"})记录一下，备忘。
本文来自博客园，作者：星如雨yu，转载请注明原文链接：https://www.cnblogs.com/tianpanyu/p/17909520.html
一句话解决加载模型时的CUDA out of memory
发布时间 2023-12-17 18:33:26作者: 星如雨yu