Tokenization

Definition

WordPieceは、BERTやALBERTなどの自然言語処理モデルで広く使用されているトークン化手法です。形態的な豊かさを扱い、語彙サイズを削減するために、単語をより小さなサブ …

SentencePieceは、現代のNLPパイプラインで広く使用されている人気のあるオープンソースライブラリです。これは、単語単位とサブワード単位の両方の共用語を学習する教師なし …

バイトペアエンコーディング（BPE）は、未登録語（Out-of-Vocabulary）への対応など、自然言語処理のために適応されたデータ圧縮技術です。これは個別の文字からなる語彙 …