2023
,
04
,
10
-
6
minute read

AIシステム実用化のためのTest-Drivenアプローチ

Machine Learning Engineerの松本です。今回は、先日のブログにて紹介した、AI活用を阻む3つのAIリスク(機能・品質面のリスク、倫理的なリスク、セキュリティ面のリスク)に対して、当社がどのようなアプローチで取り組んでいるかを紹介したいと思います。

様々なテストを通したTest-Drivenアプローチにより、AIモデルの頑健性を担保する

Robust Intelligenceでは、AIシステムを実用化する際の3つのAIリスクに対して、様々なテストをEnd-to-Endで実施してその頑健性をチェックするという、「Test-drivenアプローチ」を採用しています。

具体的には、AIモデルを開発する段階から、何百もの様々な種類のストレステストを行い、モデルの頑健性を包括的に診断します(AI Stress Testing)。このテストでは、さまざまなモデルの評価指標を算出し、一部の指標に関して「パフォーマンスが悪くなっていないか」「特定の特徴量に関してパフォーマンスが落ちていないか」「特徴量の微小な変化に対して予測値が乱高下しないか」「性別や人種などの保護属性に関して偏りのある予測をしていないか」など、ありとあらゆる観点からの検証を加えます。先ほど述べたテストは、何百とあるテストのほんの一部であり、データセットやモデルの種類によって適切なテストが自動的に行われます。

これにより、実運用に入る前に脆弱な点を発見し、解消に向けたアクションを取ることができます。そのストレステストにより診断された脆弱性を踏まえ、トレーニングのためのデータセットを見直したり、モデリングを変更したりして、十分本番に活用できるように頑健性を高めます。

本番環境に耐えられるとわかって始めて実運用段階に入りますが、運用段階でも継続してテストを行います。ストレステストでの診断結果に基づき、リアルタイムでの入力データを検証し(AI Firewall)、また不正な挙動がないか、入力データや予測結果にドリフトがないかなどを継続的にチェックし、必要に応じてモデルの再学習などを提案します(AI Continous Testing)。

Test-Drivenアプローチか、説明可能なAIか

我々が推進する、テストにより脆弱性を包括的に診断して頑健性を高めるアプローチ(Test-Drivenアプローチ)は、AIモデルの文脈で時々言及されるAIの予測の論理を説明するアプローチ(説明可能なAI、”Explainable AI”と呼ばれることもあります)とは大きく異なります

説明可能なAIというコンセプトは、簡単にいえば、AIモデルの予測がどのようになされたのかについて説明を求めることを指し、例えば「ある特徴量XがYという値だったので、Zという予測をした」という類の説明です。このアプローチは一見もっともらしく、説明可能性に関する研究も広く進められており、特徴量ごとの重要性を数値化・可視化するなど、一定のAIの透明化には寄与しています。

一方で、十分に高度なAIモデルは非常に複雑で、人間が理解できるように説明することは現実には困難です。特に直近大きな話題となっているChatGPTに用いられる大規模言語モデルなど(我々が発見したGPT-4の脆弱性に関してはこちらのブログ記事をご覧ください)は、パラメーターの数が膨大で複雑性が高く、また内部のアルゴリズムが完全にオープンになっているわけではないので、なぜAIが特定の出力をしたのかを正しく説明することはほぼ不可能と言えます。つまりAIモデルは、「説明可能性を高めようとすると、精度などを犠牲にした、比較的プリミティブなモデルにならざるを得ない」というジレンマを抱えているのです。

その上、仮になぜその予測をしたのかを説明できたとしても、その予測が妥当なものか、問題を抱えていないかは別問題であり、3つのAIリスクに対する検証はいずれにせよ必要になります。

対して、冒頭で述べたTest-Drivenアプローチは、ある種モデルのブラックボックス性をある程度認めた上で、その入出力の傾向から脆弱性を診断するため、あらゆるモデルに適用が可能です。

説明可能性を過度に求めることはAIのポテンシャルを蝕む

「説明可能でなければAIが利用できない」となると、AIのポテンシャルを必要以上に狭めてしまいます。むしろなぜAIが特定の予測や出力をしたのか100%説明ができなくても、様々なテストに耐えた頑健であると示されたAIモデルの方が信頼性は高まるのではないでしょうか。こうした考え方でRobust Intelligenceは、Test-Drivenアプローチを採用しています。

これは何もAIモデルに限ったことではありません。例えば全身麻酔という技術は、1世紀以上もの間広く使われながらも脳の機能を一時的に停止させるメカニズムはごく最近まで明確にわかっていませんでしたが、数多くの患者が無事麻酔を終えているということで頑健性が担保されてきた経緯があります。また、創薬のプロセスも似たところがあります。副作用も含めた全てのメカニズムが解明できていなくても、治験という検証のプロセスを経て薬は実用化されます。そして、その効果が継続的に追跡調査されていることで、われわれはリスクを限定しつつ便益を享受できているのです。

AIにおいても、開発段階で十分なストレステストを行い、運用段階で継続的にモニタリングすることで、3つのAIリスクを抑えながら頑健で有用なAIモデルを提供できると考えています。

Robust Intelligenceのプロダクトにご興味をお持ちいただけた方は、ぜひトップページの「コンタクト」欄からデモをリクエストしてみてください。

Blog

関連記事

2024
,
02
,
28
-
3
minute read

2024年、AI活用本格化の年に取り組むべきAIリスク対策・AIガバナンスの社会実装

Heading
For:
2023
,
11
,
30
-
3
minute read

政策企画責任者の佐久間がMHMセミナー2023のパネルディスカッションに登壇しました

Heading
For:
2023
,
12
,
08
-
5
minute read

AIを用いたGPT-4やその他のLLMの脱獄の自動化の研究結果を発表

Heading
For:
2024
,
05
,
30
-
5
minute read

LLMのファインチューニングにより安全性とセキュリティのアラインメントを損なう可能性が明らかに

Heading
For:
2023
,
11
,
02
-
10
minute read

エグゼクティブイベント “AI Risk Management Summit 2023” 開催報告

Heading
For:
2023
,
11
,
18
-
3
minute read

共同創業者の大柴が日韓首脳とのスタートアップ車座対話に出席しました

Heading
For:
2023
,
10
,
25
-
5
minute read

Robust Intelligenceと損保ジャパンが業務提携 〜AIの信頼性確保に向けた大規模言語モデルのリスク評価と全社的なガバナンス体制の構築〜

Heading
For:
2024
,
02
,
22
-
3
minute read

Robust Intelligence、米商務省のAI安全性コンソーシアムへの参加が決定

Heading
For:
2023
,
07
,
21
-
5
minute read

トラスト確保のための「第三者検証」

Heading
For:
2023
,
03
,
16
-
5
minute read

Workday訴訟をきっかけに考える、人事・雇用領域のAIリスク

Heading
For:
2023
,
10
,
25
-
5
minute read

より良いAIガバナンス実装に向けて〜「AIガバナンスホワイトペーパー ver. 1.0」の概要〜

Heading
For:
2024
,
06
,
19
-
3
minute read

Robust Intelligence、KPMGジャパンと生成AIを含むAI評価、AIガバナンス評価サービスの提供に向けた協業を開始

Heading
For:
2023
,
03
,
06
-
5
minute read

自民党・AIプロジェクトチームの議論に参加しました

Heading
For:
2024
,
03
,
13
-
3
minute read

Robust Intelligence、日立ソリューションズと協業しAIガバナンスを支援

Heading
For:
2024
,
06
,
17
-
3
minute read

共同創業者の大柴が東京大学の特別講座で講演を行いました

Heading
For:
2023
,
04
,
03
-
7
minute read

Robust Intelligenceのビジョンと日本市場の新体制

Heading
For:
2024
,
05
,
30
-
4
minute read

Robust Intelligence、5月に3つの権威あるサイバーセキュリティ賞を受賞

Heading
For:
2024
,
03
,
29
-
6
minute read

Robust Intelligence、東京海上ディーアール社と日本企業のAI活用支援を目指す協業を開始

Heading
For:
2024
,
05
,
20
-
5
minute read

セキュアなAIトランスフォーメーションの実現を目指すRobust Intelligenceが日本語LLM対応の「AI Firewall®」を提供開始

Heading
For:
2024
,
01
,
10
-
2
minute read

Robust Intelligence、日本ディープラーニング協会(JDLA)に正会員企業として入会

Heading
For:
2023
,
12
,
26
-
10
minute read

AIガバナンスをめぐる議論の現在地点 〜「AI事業者ガイドライン案」を踏まえて

Heading
For:
AIリスク管理のソリューションの詳細をご紹介します。
無料デモをリクエスト