Preprocessing

Definition

AIおよびデータサイエンスの文脈において、定量化とは、テキスト、画像、主観的な意見などの非数値データを、測定可能な数値に変換することを指します。このプロセスは、… …

インスタンス選択は、冗長またはノイズの多いデータポイントを削除することで、計算効率とモデルパフォーマンスの向上を目指します。特徴選択とは異なり、データセットの行に対して機能しま …

フィーチャースケーリングは、入力変数の範囲を標準化し、大きな値を持つ特徴量が学習プロセスを支配してしまうのを防ぎます。一般的な手法には、正規化（最小最大スケーリング）や標準化（Z …

ハッシングトリックとも呼ばれるフィーチャーハッシングは、機械学習モデルが明示的な特徴量とインデックスのマッピングを維持することなく、大規模で疎な特徴空間を処理できるようにします。 …

特徴量エンジニアリングは、生データを機械学習アルゴリズムにとって基礎的なパターンをよりよく表す特徴量に変換するためにドメインの専門知識を活用する芸術です。このプロセスには、特徴量 …

特徴量抽出は、生データを予測モデルにとって問題の根本的な部分をよりよく表す特徴量のセットに変換するプロセスであり、モデルの精度向上につながります。この技術は、ノイズを除去し、計算 …

データ探索（一般的に探索的データ解析：EDAと呼ばれます）は、機械学習ワークフローにおける重要な前段階です。これは、データの主要な特性を要約する作業を含み、頻繁に可視化や統計的手 …

この重要なステップでは、アルゴリズムが入力と出力の関係を学習できるように、生データポイントに意味のあるメタデータを付与します。例えば、画像内の物体の周囲にバウンディングボックスを …

この手法は、画像の回転、音声へのノイズ付加、テキストにおける同義語置換など、既存のサンプルを変形させたバージョンを作成することで、トレーニングデータを人為的に拡張します。これによ …

チャンキングは、検索拡張生成（RAG）やその他のNLPパイプラインにおける重要な前処理ステップです。これは、テキストを固定サイズまたは意味的な単位（チャンク）に分割し、コンテキス …

トークン化は、構造化されていないテキストをモデルが取り込める構造化データに変換する自然言語処理（NLP）における重要な前処理ステップです。これには、文章を単語やサブワードに分解 …