AI Risk Management

AIリスク管理は、組織の要件を満たすためにリスクを測定し、軽減するための、企業のベストプラクティスとなりつつあります。AIリスク管理が何であるかの理解を助けるため、まずAIリスクは次のように確率的な期待値として定義できます。

AIリスク＝（AIモデルのエラーまたは悪用の可能性）×（その潜在的影響）
この定義は、取るべき対策について示唆をもたらしてくれます。AIのエラーや脆弱性は数多くあり、頻繁に発生し、モデルのタスクやモダリティによって異なります。例えば、悪意のあるコード実行、データポイズニング、プロンプトインジェクション、モデル抽出、幻覚（Hallucination）、データドリフト、予期せぬ動作、偏った予測、有害な出力などがあります。

モデルのエラーの影響は、ユースケースに大きく依存します。財務的、法的、あるいは風評的な影響もあります。さらに重要なことは、個人情報の流出、医療保険の拒否、ローン承認の拒否など、ユーザーにとって壊滅的な結果をもたらす可能性があるということです。

　AIモデルは、基礎となる「コード」の単なる関数ではなく、根本的にはデータの関数でもあります。従来のソフトウェアにおけるプログラミングにおいては、入力を所定の出力に変換するために、手続き的ソフトウェア論理に根ざした厳密な抽象化が定義されています。しかし、AIにおいては、ユーザーがロジックを明示的に定義するのではなく、データのコーパスからロジックを「学習」できることこそが利点となります。ユーザーは学習されたロジックを直接観察することができないため、テストの負担が大きくなります。いくつかのデータポイントとエッジケースをテストするだけでは、もはや「正しさ」を担保するには不十分です。ユーザーは、評価データセットでモデルの性能を厳密にテストし、モデルが無限の潜在的なデータ分布のセットでも正しい予測を行えることを保証しなければならなくなりました。

　AIモデルの性能を評価するための評価基準は、ソフトウェアのテストに使われるものとは異なります。これは、AIモデルがノイズの多いデータに対する近似学習であるためで、ほとんどの実用的な設定では、モデルがデータ分布全体に対して100％正しいということはあり得ません。例えば、ソフトウェアは機能性や使いやすさをテストすることが多い一方で、分類モデルの性能を評価するための一般的な指標は精度です。さらに、データセット上でトップレベルの評価指標をテストするだけでもまだ不十分です。AIモデルが失敗する可能性のある側面は他にもたくさんあるためです。

　AIモデルには、表形式データの二値分類から、生成AIによる言語ベースの応答まで、幅広いモダリティ／タスクがあります。各モダリティやタスクには、それぞれ独自の失敗の特徴があり、上記のような側面でのテストの課題があります。さらに、AIは意思決定の自動化にも関わっているため、システム統合における他の側面に関連するテストも必要です。これには、バイアスや公平性に対するテストや、モデルやデータに符号化されている可能性のある機密情報の悪用に対するテストが含まれます。

　AIは、リスクを軽減するための新しいパラダイムの必要性を浮き彫りにしています

AIリスク管理とは、一連のツールや手続の導入によって、AIの特徴的なリスクから組織やエンドユーザーを守るための策を事前に講じることを指します。ここには、リスクを測定し、リスクを最小化するためのソリューションを導入することが含まれます。上記のAIリスクの定義に立ち戻って考えると、AIモデルの失敗の可能性を減らすか、影響の重大性を低減することでAIリスクを最小化することができます。ソフトウェアエンジニアリングにおけるベストプラクティスとAIリスク管理は似て非なるものです。
　アメリカ商務省下の米国立標準技術研究所（NIST）のAIリスク管理フレームワークはAIリスク管理について次のように述べています。

　AIのリスク管理は、責任あるAIシステムの開発と利用の重要な構成要素である。責任あるAIの実践は、AIシステムの設計、開発、使用に関する決定を、意図された目的と価値観に合致させるのに役立つ。責任あるAIの中核概念は、人間中心主義、社会的責任、持続可能性を強調する。AIのリスク管理は、AIの設計、開発、配備を行う組織とその内部チームに、文脈と潜在的または予期せぬ否定的、肯定的影響についてより批判的に考えるよう促すことで、責任ある使用と実践を推進することができる。AIシステムのリスクを理解し管理することは、信頼性を高め、ひいては社会からの信頼を培うことにつながる。