推論 - AI用語辞典

Definition

推論とは、完成したモデルを使用して未見のデータに対して判断や予測を行うデプロイメント段階を指します。重みを更新するトレーニングとは異なり、推論は計算リソースを消費して結果を出力します。

Summary

訓練済みモデルが新しいデータを処理して予測や出力を生成するフェーズ。

Key Concepts

予測
レイテンシー
スループット
デプロイメント

Use Cases

銀行取引におけるリアルタイムの不正検出
ライブチャットボットでの応答生成
自律走行車システムにおける画像分類

Code Example

1
2
3
4
5
import torch
model.eval()
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)