Transformers

Definition

XLM-RoBERTa（Cross-lingual Language Model RoBERTa）は、Meta AIによって開発された大規模な多言語モデルです。100以上の言語を …

プレフィックスチューニングは、事前学習済みトランスフォーマーモデルに適応させるためのパラメータ効率的な手法です。モデルの全重みを更新する代わりに、学習可能な連続ベクトルのシーケン …

ロングコンテキストとは、トランスフォーマーベースのモデルが標準的な制限（2kや4kトークンなど）を超えて広範な入力長を扱える能力を指します。この機能により、モデルは完全な文書全体 …

Fill Maskは、BERTのようなトランスフォーマーベースモデルで使われる基本的な事前学習目的です。このプロセスでは、テキストシーケンス内のランダムなトークンをマスクし、モデ …

ExBERTは、異なる層における個々の注意機構ヘッドの重要度を分析することで、BERTトランスフォーマーモデルの解釈可能性を提供します。これには勾配ベースの帰属分析などの手法が使 …

トランスフォーマーはRNNのように逐次的ではなく、すべてのトークンを並列で処理するため、トークンの順序に関する内在的な知識を持ちません。位置エンコーディングは、入力埋め込みベクト …

エンコーダーは生の入力シーケンスやデータ構造を処理し、潜在空間表現（エンベッディングやコードと呼ばれることが多い）に変換します。これらはTransformerやオートエンコーダー …

アダプターは、主に大規模言語モデルやトランスフォーマーで使用されるパラメータ効率の高いファインチューニング手法です。すべてのモデル重みを更新するという計算コストの高い作業の代わり …

アテンション機構により、モデルは特にテキストのような逐次データを処理する際に、関連情報に焦点を当てることができます。アテンションスコアを計算することで、モデルはどの要素が現在の出 …

セルフアテンションにより、モデルは距離に関係なく、シーケンス内のすべての位置間の依存関係を同時に捉えることができます。すべてのトークンのペア間でアテンションスコアを計算することに …