Apache License 2.0 的 RedPajama 7B 釋出

在 LLaMA 出來以後，打造 open source license 的 LLM 變成大家期待的事情，而 RedPajama 算是蠻多人看好的項目。

結果還在算的過程中間，路上殺出來 Falcon LLM，在釋出當下以一個比較寬鬆的 license (但還不是 open source license)，到了六月初直接宣布改用 Apache License, Version 2.0，而且同時放出 7B 與 40B 兩個 model，讓 RedPajama 的消息瞬間被壓下去…

現在 RedPajama 放出 7B 了，而且也宣稱在 HELM 上比 Falcon 7B 好：「RedPajama 7B now available, instruct model outperforms all open 7B models on HELM benchmarks」，在 Hacker News 上對應的討論串在「RedPajama 7B (an Apache 2.0-licensed LLaMa) is now available (together.xyz)」這邊。

不過從這幾個月社群討論的感覺，可以看到大家都覺得 7B 太小了，目前大家都希望是 3090/4090 等級可以跑的顯示卡在當標準，差不多會是 LLaMA 13B 或是 30B (4-bit) 的 model。

這幾個月的競爭太激烈，放話完還沒 release 就被幹掉…

Read More