Tanh
Definition
双曲線正接（Tanh）関数は、ニューラルネットワークで一般的に使用される非線形活性化関数です。入力値を区間(-1, 1)に圧縮し、ゼロ中心化された出力を提供することで、 …
Deep_learning
再パラメータ化トリック
Definition
再パラメータ化トリックは、変分オートエンコーダーや他の確率的モデルで使用される基本的な手法です。これは、確率変数を外部のパラメータ（通常は正規分布からのサンプリング）と決定論的な …
エキスパートの積（Product of Experts）
Definition
エキスパートの積（PoE）は、単純な確率分布を組み合わせて複雑な分布を構築する方法です。「エキスパートの混合（Mixture of Experts）」が確率を平均化するのに対 …
マルチモーダル表現学習
Definition
マルチモーダル表現学習は、テキスト、画像、音声、動画など、異なる種類のデータソースからの情報を処理し統合して共有潜在空間（shared latent space）に埋め込むために …
多様体仮説
Definition
この仮説は、次元の呪いにもかかわらずディープラーニングが効果的に機能する理由を説明します。画像などのデータが数百万の次元に存在しているように見えても、実際には
Summary
高 …
ハイウェイネットワーク
Definition
ハイウェイネットワークは、適応型ゲートを組み込むことで深層学習における勾配消失問題に対処するために設計されました。LSTMセルと同様に、これらのゲートはネットワークへの情報伝達を …
隠れ層
Definition
隠れ層は、前の層から入力を受け取り、重みとバイアスを適用して、活性化関数を通じて変換されたデータを次の層へ渡すニューロンで構成されています。これらの層により、ニューラルネットワー …
エネルギーベースモデル
Definition
エネルギーベースモデル（EBM）は、エネルギー関数から導出される正規化されていない密度関数を用いて、入力データ上の確率分布を定義します。エネルギー関数はデータポイントを実数値にマ …
差分プライベート確率的勾配降下法
Definition
DP-SGDは、トレーニングデータのプライバシーを保護するために設計された確率的勾配降下法（SGD）のバリアントです。各サンプルの勾配寄与をクリップして感度を制限し、その後ガウス …
AlphaChip
Definition
AlphaChipは、マイクロチップ上のコンポーネントの配置と配線を自動化・強化するために設計された専用AIシステムです。ディープ強化学習を採用することで、設計サイクル時間を大幅 …
敵対的攻撃
Definition
敵対的攻撃は、画像やテキストなどの入力に微妙なノイズを導入することでニューラルネットワークの脆弱性を突き、モデル出力に重大なエラーを引き起こします。これらの攻撃は、モデルの安全性 …
ビジョン
Definition
コンピュータビジョン（CV）は、コンピュータがデジタル画像、動画、その他の視覚入力から意味のある情報を引き出すように訓練するAIの一分野です。これには、アルゴリズムの開発が含まれ …
残差接続
Definition
スキップ接続とも呼ばれる残差接続は、入力を後の層の出力に直接加えることで、ネットワーク内を勾配が流れることを可能にします。このアーキテクチャは、深いネットワークにおける勾配消失問 …
ロングショートタームメモリ
Definition
LSTMネットワークは、入力ゲート、忘却ゲート、出力ゲートの3つのゲート機構とセル状態を使用することで、標準的なRNNで一般的に見られる消失勾配問題に対処します。これらのゲートは …
活性化関数
Definition
活性化関数はニューラルネットワークに非線形性をもたらし、複雑なパターンやデータ内の関係を学習可能にします。これらの関数がなければ、多層ネットワークは単なる線形変換として振る舞うこ …
事前学習済み
Definition
事前学習済みモデルは、WikipediaやImageNetのような大規模で多様なデータセットに対して広範なトレーニングを受けた基盤となるAIモデルです。この初期トレーニングによ …
拡散ベースの
Definition
拡散ベースのモデルは、ランダムな分布からノイズを反復的に除去することで新しいデータサンプルを作成する生成AIの一種です。このプロセスは、ガウスノイズを徐々に付加する順過程（フォ …
転移学習
Definition
転移学習は、新しい関連タスクにおけるパフォーマンスの向上とトレーニング時間の短縮を実現するために、事前学習済みモデルを活用します。ゼロからトレーニングするのではなく、開発者は既存 …
マルチヘッドアテンション
Definition
マルチヘッドアテンションは、標準的なアテンションメカニズムを、異なる学習された線形射影を使用して並列で複数回実行することで拡張します。これにより、モデルは情報の異なる側面に結合し …
拡散
Definition
拡散モデルは、データにノイズを追加する確率過程を逆学習する生成AIの一種です。ニューラルネットワークにこのノイズを段階的に予測して除去させることで訓練され、これにより高品質なデー …
畳み込みニューラルネットワーク
Definition
畳み込みニューラルネットワーク（CNN）は、視覚入力から空間的な特徴の階層を自動的に適応的に学習するように設計されています。これらは、特徴を検出するためにフィルタを適用する畳み込 …
アテンション機構
Definition
アテンション機構は、モデルが入力シーケンス内の異なる要素の重要度を動的に重み付けすることを可能にします。すべての入力データを同様に扱うのではなく、異なるレベルの重要性を割り当てま …