AI観測可能性 - AI用語辞典

Definition

AI観測可能性とは、従来のソフトウェア監視を拡張し、機械学習システム特有の課題に対応するものです。これには、モデルパフォーマンス、データドリフト、推論レイテンシなどをリアルタイムで追跡することが含まれます。

Summary

ログ、メトリクス、トレースを通じて機械学習システムの内部状態を監視し、理解する実践。

Key Concepts

データドリフト
モデル監視
テレメトリー
デバッグ

Use Cases

本番環境でのコンセプトドリフトの検出
低信頼度予測のトラブルシューティング
AIサービスに対するSLA（サービスレベル合意）準拠の確保

Code Example

1
2
3
4
5
6
7
8
9
import mlflow

# Log metrics during training
mlflow.log_metric('accuracy', 0.95)
mlflow.log_metric('loss', 0.05)

# Track model parameters
mlflow.log_param('learning_rate', 0.01)
mlflow.log_param('epochs', 10)