前段时间我们介绍了一些 HF 核心库在 Google Colab 环境中的内置,包括可以使用 hf://
资源标识符来调用 Hub 上的数据集等等,详情可以回顾文章:Google Colab 现已支持直接使用 🤗 transformers 库。
今天,随着 huggingface_hub
库的更新,在 Google Colab 环境里,你可以使用其 Secrets (密钥) 功能,将 HF_TOKEN
加入其中成为环境变量直接调用!请查看详细的视频演示:
除此之外,自最近更新的 huggingface_hub
库版本 (v.19.0) 开始,我们将对一些环境变量的名称进行更改,以标准化生态系统中所有环境变量的使用 (均以 HF_
开头):变更前的环境变量变更后的环境变量HUGGINGFACE_HUB_CACHE
HF_HUB_CACHE
HUGGINGFACE_ASSETS_CACHE
HF_ASSETS_CACHE
HUGGING_FACE_HUB_TOKEN
HF_TOKEN
HUGGINGFACE_HUB_VERBOSITY
HF_HUB_VERBOSITY
下面是这些环境变量的功能介绍:
HF_HUB_CACHE
:用于配置本地缓存 Hugging Face Hub 的仓库(模型、数据集和空间)。默认路径为$HF_HOME/hub
(例如~/.cache/huggingface/hub
)。HF_ASSETS_CACHE
:用于配置本地缓存由下游库创建的资产。这些资产可能包括预处理数据、从 GitHub 下载的文件、日志等。默认路径为$HF_HOME/assets
(例如~/.cache/huggingface/assets
)。HF_TOKEN
:用于配置用户访问令牌以认证到 Hugging Face Hub。如果设置了此变量,它将覆盖存储在机器上的令牌(位于$HF_HOME/token
)。HF_HUB_VERBOSITY
:设置 huggingface_hub 日志记录器的详细级别。必须是以下之一:{"debug", "info", "warning", "error", "critical"}
,默认为warning
。
正文完
可以使用微信扫码关注公众号(ID:xzluomor)