データ探索 - AI用語辞典

Definition

データ探索（一般的に探索的データ解析：EDAと呼ばれます）は、機械学習ワークフローにおける重要な前段階です。これは、データの主要な特性を要約する作業を含み、頻繁に可視化や統計的手法を使用してデータの構造を理解し、潜在的な問題や興味深いパターンを特定します。

Summary

正式なモデリングの前に、パターンを発見し、異常を検出し、仮説を検証するためにデータセットを初期分析すること。

Key Concepts

探索的データ解析
可視化
パターン認識
異常検出

Use Cases

モデル学習前に特徴量間の相関関係を特定する
欠損値や外れ値の検出と処理
データの品質と分布の仮定を検証する

Code Example

1
2
3
4
5
import pandas as pd
import seaborn as sns
df = pd.read_csv('data.csv')
sns.pairplot(df)
plt.show()