Dolly 是一个低成本的 LLM,Dolly 采用 EleutherAI 现有的 60 亿参数的开源模型,并对其进行细微的修改,以激发指令跟随能力。
开始训练
- 将
dolly
repo 添加到 Databricks(在 Repos 下单击 Add Repo,输入https://github.com/databrickslabs/dolly.git
,然后单击创建仓库)。 - 开始一个
12.2 LTS ML (includes Apache Spark 3.3.2, GPU, Scala 2.12)
具有 8 个 A100 GPU 节点类型的单节点集群(例如Standard_ND96asr_v4
或者p4d.24xlarge
). - 在
dolly
仓库中打开train_dolly
notebook,附加到你的 GPU 集群,并运行所有单元。训练完成后,notebook 会将模型保存在/dbfs/dolly_training
.
在本地运行单元测试
pyenv local 3.8.13
python -m venv .venv
. .venv/bin/activate
pip install -r requirements_dev.txt
./run_pytest.sh
正文完
可以使用微信扫码关注公众号(ID:xzluomor)