Post-Deployment: AI Continuous Testing

運用中のモデルのモニタリング

テストベースアプローチにより、モデルの挙動のモニタリングと自動的な原因分析を可能にします。

Dashboard image with a lot of metrics and tests

運用中のデータの異常やドリフトを検出

モデルの実運用が開始されると、ドリフトやデータの不備、その他のエラーなどの複雑な問題がどうしても発生します。AI Continuous Testingは、「どのデータが」「なぜ」変化しているのか、という問いに答えます。問題を検出するだけでなく、その根本原因に関する分析も提供し、解決をサポートします。

モデルの不具合の原因分析を自動化

実運用時のデータにはノイズが多く、モデルの性能が時間の経過とともに低下する恐れがあります。

パフォーマンス低下の根本原因を突き止めるのは、非常に時間のかかる作業です。AI Continuous Testingは、そうした原因と、関連するデータポイントを自動的に明らかにします。

モデルの挙動を可視化

複数のモデルを運用する場合、その挙動を手動で監視し続けるのには大変なコストがかかります。

AI Continuous Testingは、すべての運用中のモデルのパフォーマンスを自動的にモニタリングするため、ユーザは表面化した不具合の修正のみに専念することができます。

自動の閾値設定とアラート機能

データは状況に応じて変化するため、予測の妥当性を示す閾値を設定することが必要です。

AI Continuous Testingは、この閾値設定のプロセスを自動化し、その閾値を超えた場合にアラートします。

あらゆるモデルのモニタリング

複雑なモデルに対しても、高度なモニタリングを実現します。Robust Intelligence Platformは、Tabularモデル、NLPモデル、コンピュータビジョンモデルなどへのサポートが可能です。

シームレスな統合              

たった1行のコードで導入できます。アラートや再学習のパイプラインと接続することで、本番環境の機械学習フレームワークに組み込めます。

「AIのお守り」を自動化 

モニタリングダッシュボードに費やす時間を減らし、モデルの不具合に対する原因分析を自動化することで、データサイエンティストやエンジニアが問題解決に専念できます。

カスタマイズした指標のトラッキング

標準的な指標だけでなく、それぞれのビジネスにとって不可欠な指標を柔軟に定義し、トラッキングできます。
セブン銀行は、ATMサービスや金融サービスの中核にAIを活用し、社会的な課題やニーズにお客様の視点で取り組んでいます。Robust Intelligenceは、こうしたAI活用において欠かせないモデルの品質を保証するものです。Robust Intelligenceにより、お客様の行動やニーズの変化など、潜在的な変化に対して常にAIの状態を保証することができ、お客様目線のサービスのさらなる飛躍が可能になります。
Yoshiyuki Nakamura
Assistant General Manager, Corporate Transformation
東京海上グループでは、保険金支払業務、商品提案からカスタマーサポートに至るまで、さまざまな領域でAIを活用しています。Alのメリットは計り知れませんが、事業に導入すればするほど、リスクもより深刻化します。Robust Intelligenceが提供するユニークな技術を使えば、Alの脆弱性を特定し、こうしたリスクに対処することができます。私たちは、Robust Intelligenceとの連携を図り、ビジネス上のコラボレーションをさらに加速させることを約束します。
Masashi Namatame
Chief Digital Officer
Robust Intelligenceプラットフォームを利用することで、かつて手動で行っていた品質管理のプロセスが促進され、より効率的で、頑健で、統一的な開発が可能になりました。Robust Intelligenceのエンジニアの技術的なスキルは素晴らしいです。
Eiji Yoshida
Head of IOWN Innovation Office
金融、コミュニケーション、ECなどAIの活用の場は飛躍的に広がりました。多種多様な事業を有するLINEヤフーでも有識者会議で議論を重ね、AI倫理基本方針を策定しましたが、ビジネスにおけるAI活用を後押しするにはさらにもう一歩、事業の現場でのガバナンス実施を可能にする手段の確保が必要です。Robust Intelligenceのソリューションは、開発・運用の現場におけるAIリスクの検証を可能にする一つの有効なツールと言えるでしょう。 
Gen Miyazawa
Senior General Manager, Generative AI Group, Executive Corporate Officer
NECは世界トップクラスの日本語性能を誇るLLM(Large Language Model)を開発しました。これにより、お客様向けに専門性の高いLLMの利用環境を提供します。そして、現在、Robust Intelligenceとともに、持てる知見と技術を結集してLLMのパフォーマンスを評価し、リスクの除去に取り組んでいます。性能面、安全面の両面で最高品質を追求したNECの日本語LLMをお届けすることで、生成AIを追い風とした各業界でのAI活用をますます加速させ、企業のイノベーションに貢献していきます。
Toshifumi Yoshizaki
Executive Officer, Corporate Senior Executive Vice President, Chief Digital Officer
NECでは、お客様のビジネスに貢献するため、業務に寄り添ったLLM提供していますが、LLMの業務活用においては、安全性が論点となります。NECでは、Robust Intelligenceのソリューションを用いて様々な観点からLLMのリスクを検証しています。様々なモデルを扱える自動テストツールによって、品質面・セキュリティ面・倫理面のリスクを検証し、品質改善への示唆を得ることができます。Robust Intelligenceのような第三者による検証は、モデルの改善だけでなく、信頼性の確保にもつながると考えています。これにより、お客様に安全安心なLLMを提供していきます。
Daisuke Kochu
General Manager, Analytics Consulting Division
保険業界にもデジタル化の波が押し寄せる中、損保ジャパンでは従来の業務を大胆に変革しつつAIなどの技術を積極的に取り入れ、よりお客さまにとって安心・安全・健康な世界の実現を目指しています。AIの活用には常にリスクが伴いますが、私たちはRobust Intelligenceとともにそれらのリスクを適切にコントロールすることで、お客さま、そして世の中により多くの価値を提供していきます。
Akiko Murakami
Chief Data Officer
AIの技術発展とツールの浸透が急速に進み、多くの企業がガバナンスに頭を悩ませるようになりました。AIリスク管理においては戦略・体制面の強化だけではなく、Robust Intelligenceのソリューションのような実効性ある検証ツールの導入が有効です。デロイト トーマツ グループでは、自ら有する規制動向や体制構築・高度化、人材育成に関する知見とRobust Intelligenceのプラットフォームを組み合わせ、適切なAIガバナンスの構築支援を推し進めていきます。
Toyohiro Sometani
Partner, Deloitte Tohmatsu Risk Advisory Co., Ltd.
AIは組織の生産性向上や顧客接点の強化、クリエイティブの生成など、様々な領域に非連続なイノベーションをもたらす新技術です。一方で、こうした新技術をお客様に安心・安全にお届けするためには、社会への負の影響を抑止するガバナンスの整備と、客観的かつ妥当性のあるモデル評価が不可欠です。Robust Intelligenceが目指すAI監査の姿は、当社の価値あるサービス提供と、AI活用によるお客様のビジネス成長のための中核要素になると期待しています
Hiroshi Tomiyasu
Executive Vice President NTT DATA Group Corporation

もっと見る

Tabular

Read More

Natural Language Processing

Read More

Computer Vision

Read More
AIリスク管理のソリューションの詳細をご紹介します。
無料デモをリクエスト