riaz.somc/transformers
1
0
Fork 0
mirror of https://github.com/huggingface/transformers.git synced 2025-07-04 13:20:12 +06:00
Code Issues Actions 21 Packages Projects Releases Wiki Activity
8cfcfe58c0
transformers/docs/source/ko/internal/tokenization_utils.md
Yijun Lee 0d0ec1dbfb
🌐 [i18n-KO] Translated tokenization_utils.md to Korean (#33813) 
* docs: ko: tokenization_utils.md

* feat: nmt draft

* fix: manual edits
2024-10-08 17:56:30 -07:00

1.7 KiB
Raw Blame History

토크나이저를 위한 유틸리티 utilities-for-tokenizers

이 페이지는 토크나이저에서 사용되는 모든 유틸리티 함수들을 나열하며, 주로 [PreTrainedTokenizer]와 [PreTrainedTokenizerFast] 사이의 공통 메소드를 구현하는 [~tokenization_utils_base.PreTrainedTokenizerBase] 클래스와 [~tokenization_utils_base.SpecialTokensMixin]을 다룹니다.

이 함수들 대부분은 라이브러리의 토크나이저 코드를 연구할 때만 유용합니다.

PreTrainedTokenizerBase transformers.PreTrainedTokenizerBase

autodoc tokenization_utils_base.PreTrainedTokenizerBase

  • call
  • all

SpecialTokensMixin transformers.SpecialTokensMixin

autodoc tokenization_utils_base.SpecialTokensMixin

Enums 및 namedtuples transformers.tokenization_utils_base.TruncationStrategy

autodoc tokenization_utils_base.TruncationStrategy

autodoc tokenization_utils_base.CharSpan

autodoc tokenization_utils_base.TokenSpan