Dolly —— 低成本生成式 AI

906次阅读
没有评论

Dolly 是一个低成本的 LLM,Dolly 采用 EleutherAI 现有的 60 亿参数的开源模型,并对其进行细微的修改,以激发指令跟随能力。

开始训练

  • dollyrepo 添加到 Databricks(在 Repos 下单击 Add Repo,输入 https://github.com/databrickslabs/dolly.git,然后单击创建仓库)。
  • 开始一个 12.2 LTS ML (includes Apache Spark 3.3.2, GPU, Scala 2.12)具有 8 个 A100 GPU 节点类型的单节点集群(例如 Standard_ND96asr_v4或者 p4d.24xlarge).
  • dolly仓库中打开 train_dollynotebook,附加到你的 GPU 集群,并运行所有单元。训练完成后,notebook 会将模型保存在 /dbfs/dolly_training.

在本地运行单元测试

pyenv local 3.8.13
python -m venv .venv
. .venv/bin/activate
pip install -r requirements_dev.txt
./run_pytest.sh

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy