Definition
AIアライメントは、AIシステムが文字通りに指定されたことではなく、ユーザーが意図したとおりに堅牢に機能するようにする課題に対処します。これには、AIの安全性と人間への適合性を確保するための技術的手法が含まれます。
Summary
AIシステムが人間の価値観や意図に沿って振る舞うことを確保することに焦点を当てた研究分野。
Key Concepts
- 価値学習
- 有益な行動
- 制御問題
- 解釈可能性
Use Cases
- 大規模言語モデルにおける安全研究
- RLHFのための報酬関数の開発
- 倫理ガイドラインの実装