類似度学習
Definition
類似度学習は、類似したアイテムが近くに、異なるアイテムが遠くなるように、入力をベクトル空間にマッピングするモデルを訓練することに焦点を当てています。サイエズネットワークやトリプレ …
Deep Learning
Sentence Transformers
Definition
Sentence Transformersは、従来のTransformerモデル（BERTなど）を拡張したもので、全体としての文に対して意味のある密なベクトル表現を生成するように …
Pyannote Audio
Definition
Pyannote Audioは、話者 diarization システムの開発と展開を容易にするために設計された包括的なツールキットです。音声分析タスクのために、事前訓練済みのニ …
モード崩壊
Definition
GANにおいて、モード崩壊は、生成器が識別子の弱点を悪用し、データ分布の他のモードを無視して、妥当なサンプルの狭い範囲のみを生成する際に発生します。これにより
Summary
…
AI用ハードウェア
Definition
AIハードウェアとは、機械学習ワークロードに必要な大量の並列処理に最適化された専用コンピューティングデバイスを指します。これには、一般的な並列処理用のグラフィックスプロセッシング …
勾配累積
Definition
この最適化戦略により、深層学習モデルはGPUメモリに収まらないような有効なバッチサイズを使用して訓練できます。複数のミニバッチからの勾配を累積し、その後で重み更新を行います。 …
ゲート付き再帰型ユニット（GRU）
Definition
ゲート付き再帰型ユニット（GRU）は、系列データにおける長期依存関係を捉えるように設計された特殊な再帰型ニューラルネットワーク（RNN）セルです。長短期記憶（LSTM）アーキテク …
フィーチャラーニング
Definition
ディープラーニングと関連の深いフィーチャラーニングは、手動の特徴エンジニアリングに依存するのではなく、生データから階層的な表現を直接学習することを可能にします。層を重ねることで、 …
ダブルデセント（二重下降）
Definition
ダブルデセントは、トレーニングデータを完全に補間しているにもかかわらず、高度に過剰パラメータ化されたモデルが低いテスト誤差を実現できることを示すことで、従来のバイアス・バリアンス …
ドメイン適応
Definition
ドメイン適応は、トレーニングデータとテストデータが異なる分布に従っているという課題に対処します。ラベル付きのソースドメインとラベルなし（または限られたラベル）のターゲットドメイン …
BERT
Definition
BERT（Bidirectional Encoder Representations from Transformers）は、Googleによって開発された、自然言語処 …
バッチ正規化
Definition
この手法は、トレーニング中の各ミニバッチ内で活性化値の平均を0、分散を1に調整・スケーリングします。内部共変量シフトを軽減し、より高い学習率の使用や高速な収束を可能にします。 …
ReLU
Definition
ReLUは、計算効率が高く、勾配消失問題を緩和できるため、ディープラーニングニューラルネットワークで広く使用されています。数学的には f(x) = max(0, x) と定義さ …
再帰型ニューラルネットワーク
Definition
RNNは、テキスト、ゲノム、手書き文字、音声などのデータシーケンス内のパターン認識を目的としています。順伝播ネットワークとは異なり、過去の情報を捉える内部メモリを持っており、時系 …
ドロップアウト
Definition
ニューラルネットワークにおいて、ドロップアウトは各トレーニングステップ中にランダムなサブセットのニューロンを一時的に削除することで過学習を防ぎます。これにより、ネットワークは結合 …
事前学習（プレトレーニング）
Definition
事前学習は、深層学習における基礎的な技法であり、モデルがラベルのない大量のデータから広範な特徴やパターンを学習するプロセスです。これにより、モデルは汎用的な表現を獲得し、後続の特 …
ニューラルネットワーク
Definition
ニューラルネットワークは、人間の脳の動作様式を模倣するプロセスを通じて、データセット内の基礎的な関係性を認識しようとする一連のアルゴリズムです。それは層で構成されています。 …
大規模言語モデル
Definition
大規模言語モデル（LLM）は、トランスフォーマーアーキテクチャに基づく高度な人工知能システムであり、テキストやコードの巨大なデータセットで学習します。これらは言語内の統計的パター …
Adam
Definition
Adam（Adaptive Moment Estimation）は、ディープニューラルネットワークのトレーニングに使用される人気のある一階勾配ベースの最適化アルゴリズムです。これ …
ファインチューニング
Definition
ファインチューニングとは、大規模な一般データセットで既に訓練されたモデルを取り出し、専門的なデータセットでさらに訓練を行うことを指します。これにより、モデルは一般的な知識を維持し …