9660e27cd0
* Add models * Add models and update `_toctree.yml` * Update docs/source/ja/model_doc/chinese_clip.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update docs/source/ja/model_doc/camembert.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update docs/source/ja/model_doc/bros.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update docs/source/ja/model_doc/bros.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update docs/source/ja/model_doc/blip-2.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update docs/source/ja/model_doc/camembert.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * solve merge conflicts and update paper titles * Update docs/source/ja/model_doc/bridgetower.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update docs/source/ja/model_doc/canine.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update docs/source/ja/model_doc/chinese_clip.md Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Update the authons name in bros..md --------- Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com>
4.2 KiB
BLOOM
Overview
BLOOM モデルは、BigScience Workshop を通じてさまざまなバージョンで提案されています。 BigScience は、研究者が時間とリソースをプールして共同でより高い効果を達成する他のオープン サイエンス イニシアチブからインスピレーションを得ています。 BLOOM のアーキテクチャは基本的に GPT3 (次のトークン予測のための自己回帰モデル) に似ていますが、46 の異なる言語と 13 のプログラミング言語でトレーニングされています。 モデルのいくつかの小さいバージョンが同じデータセットでトレーニングされています。 BLOOM は次のバージョンで利用できます。
Resources
BLOOM を使い始めるのに役立つ公式 Hugging Face およびコミュニティ (🌎 で示されている) リソースのリスト。ここに含めるリソースの送信に興味がある場合は、お気軽にプル リクエストを開いてください。審査させていただきます。リソースは、既存のリソースを複製するのではなく、何か新しいものを示すことが理想的です。
- [
BloomForCausalLM] これによってサポートされています causal language modeling example script and notebook.
以下も参照してください。
⚡️ 推論
- に関するブログ 最適化の話: ブルーム推論。
- に関するブログ DeepSpeed と Accelerate を使用した信じられないほど高速な BLOOM 推論。
⚙️トレーニング
- に関するブログ BLOOM トレーニングの背後にあるテクノロジー。
BloomConfig
autodoc BloomConfig - all
BloomTokenizerFast
autodoc BloomTokenizerFast - all
BloomModel
autodoc BloomModel - forward
BloomForCausalLM
autodoc BloomForCausalLM - forward
BloomForSequenceClassification
autodoc BloomForSequenceClassification - forward
BloomForTokenClassification
autodoc BloomForTokenClassification - forward
BloomForQuestionAnswering
autodoc BloomForQuestionAnswering - forward
FlaxBloomModel
autodoc FlaxBloomModel - call
FlaxBloomForCausalLM
autodoc FlaxBloomForCausalLM - call