JZTXT

PreTrainedModel 中 from_pretrained 和 load_state_dict 的关联

发布时间 2023-11-09 23:37:39作者: WActen

from_pretrained

  1. AutoTokenizer.from_pretrained：从path/vocab.json中加载tokenizer

  2. AutoConfig.from_pretrained：从path/config.json中加载模型配置信息

    • 更新模型配置信息：model = Model(config)

  3. PreTrainedModel.from_pretrained：加载模型结构和模型参数

load_checkpoint

从 checkpoint 中加载模型 parameter，而不加载模型结构