如何微调GPT-J-基础知识

0 / 353

在其他任何事情之前,您可能需要申请访问TPU研究云(TRC)。再加上谷歌云免费试用,你可以免费在这里做任何事情。一旦你进入TRC,你需要创建一个项目,然后用新项目的名称填写发送给你的表格。使用脚本create_finetune_tfrecords.py将数据准备为tfrecords;我可能会做一个单独的指南。您可能需要做的另一件事是fork mesh-transformer-jax代码,以便更容易添加和修改配置文件。

  1. 安装Google Cloud SDK,我们稍后需要它。
  2. 如果你还没有完成一个项目并通过TRC激活TPU访问(或者如果你计划自掏腰包),免费申请
  3. TPU使用谷歌云存储桶进行存储,现在就创建一个吧。确保它位于TPU VM所在的区域;TRC的电子邮件将告诉您可以在哪个地区使用免费TPU。
  4. 为了微调模型,您需要完全预训练的权重。下载地址

现在云上有了一个存储桶,电脑上有了权重,您需要分两步将权重上传到存储桶:

  1. 解压缩并提取GPT-J-6B/step_383500.tar.zstd,这样您就剩下包含碎片检查点的未压缩文件夹。
  2. 打开Google Cloud SDK并运行以下命令,根据需要替换路径名:gsutil-m cp -R LOCAL_path_TO/step_383500 gs://YOUR-BUCKET。如果成功,控制台将显示正在上载的文件。注:我从加州上传到荷兰,花了大约12个小时;希望你的地理位置比我好!我最初也犯了上传仍然打包的.tar的错误。不要这样做,TPU虚拟机没有足够的本地存储空间供您解压缩。为了避免重新上传,我不得不在Colab中解压缩。

你也会想上传你的数据的tfrecords,说实在的,没有人会想通过网络界面上传近70GB的权重。

请注意,稍后可以通过在VM的文本编辑器中编辑基本repo来完成准备索引和配置文件的步骤6和7。相反,对您自己的repo分支进行以下更改更有效:

  1. 在数据文件夹中,创建一个新的文件foo.train.index,将foo替换为您希望引用数据集的任何内容。对于存储桶中要训练的每个tfrecord,将路径添加为索引中的一行。创建foo.val.index,并对验证数据集执行同样的操作(如果有)。有关示例,请参见现有文件。
  2. 复制配置文件6B_roto_256.json,将其重命名为适合您项目的名称。打开它并进行以下编辑:
  • tpu_size:从256更改为8
  • bucket:换成你的bucket
  • model_dir:更改到要保存checkpoints的目录
  • train_set和val_set:从最后一步更改为索引文件
  • eval_haness_tasks:如果不打算使用eval线束,则可以删除
  • val_every&ckpt_every&keep_every:用法应该直观。但不要将foo_every值设置为0,否则会出现被零除的错误。如果没有val_set,只需将val_every设置为高于total_steps的值
  • val_batches:这应该等于val数据集中的序列数。您可以在create_finetune_tfrecords.py生成的.tfsrecords文件的末尾找到此数字
  • name:更改为模型的名称
  • warmup_steps、lr、val_batches等:请参阅本指南末尾的学习率注释部分
  1. 将更改推送到GitHub存储库。
  2. 遵循本指南,直到连接到您的云TPU VM。

此时,您应该可以远程访问TPU VM!

  1. 在新的VM终端中,键入git clone https://github.com/kingoflolz/mesh-transformer-jax(或者,最好是在推送配置文件和索引文件之后,您自己的fork)。
  2. 使用cd mesh-transformer-jax移动到新目录,并运行pip install-r requirements.txt。由于requirements.txt文件没有固定微调所需的确切jax版本,因此运行pip安装jax==0.2.12,您就完成了。
  3. 最后,运行python3 device_train.py --config=YOUR_config.json --tune model path=gs://YOUR-BUCKET/step_383500/。如果一切设置正确,这将开始微调过程。首先,必须将模型加载到内存中;当加载控制台上显示的网络时,需要大约10-15分钟才能执行下一步,设置WandB进行日志记录。选项3允许您在不使用WandB时跳过该选项。步骤1检查点将保存下来,真正的训练将开始。如果您有一个小数据集,这将很快完成;TPU虚拟机可以每秒约5000个令牌进行训练。
  4. 完成了!现在不要忘记你需要采取的清理步骤,比如关闭TPU虚拟机或删除存储桶中不需要的数据,这样你以后就不会收到谷歌的任何意外收费。

更多

本指南被标记为“基础知识”,我们迄今为止没有涉及的任何内容都超出了范围,但请查看存储库的其余部分!尝试python3 device_sample.py --config=configs/YOUR_config.json获取基本采样接口。使用slim_model.py准备一个更容易部署的新权重的slim版本,以便进行推断、实验。

运行HuggingFace

要使用pytorch在HuggingFace的转换器库中使用模型,需要将权重转换为它可以识别的格式。这可以使用to_hf_weights.py完成。建议您在尝试将权重移动到pytorch/transform格式之前使用slim_model.py。使用python to_hf_weights.py --help查看用法详细信息。

炼丹参数

首先要确定的是训练时期的长度。gradient_accumulation_steps是批次大小,默认为16,nostalgebraist建议32。tfrecord文件的文件名中应该有一个数字,指示数据集中有多少序列。将该数字除以批次大小,结果就是一个时期中有多少步。现在我们可以写时间表了。

lr建议介于1e-5和5e-5之间,endlr设置为lr的1/5或1/10。weight_decay可以保持0.1。totalsteps至少应该是一个历元,如果您有一个验证集来确定您的训练损失,则可能更长。warmup_steps应该是总数的5-10%,最后anneal_steps应该为totalsteps-warmup_steps。(在warmup_steps+anneal_steps之后,lr设置为end_lr,然后保持训练直到total_steps,但通常应该在退火完成后停止)

举个例子:我有一个小数据集,它标记成1147个序列作为.tfrecord。除以gradient_aaccumulation_steps设置为16,四舍五入以确保我使用所有数据,等于每个历元72步。我将lr设置为5e-5,end_lr设置为其中的五分之一,1e-5;这可能太多了,它处于推荐范围的高端。我将为一个epoch将total_steps设置为72,因为我没有验证集。然后我将anneal_steps设置为65,warm_steps设置设置为7。这么简单,但你可能需要自己处理细节。