Post-Deployment: AI Continuous Testing

運用中のモデルのモニタリング

テストベースアプローチにより、モデルの挙動のモニタリングと自動的な原因分析を可能にします。

Dashboard image with a lot of metrics and tests

運用中のデータの異常やドリフトを検出

モデルの実運用が開始されると、ドリフトやデータの不備、その他のエラーなどの複雑な問題がどうしても発生します。AI Continuous Testingは、「どのデータが」「なぜ」変化しているのか、という問いに答えます。問題を検出するだけでなく、その根本原因に関する分析も提供し、解決をサポートします。

モデルの不具合の原因分析を自動化

実運用時のデータにはノイズが多く、モデルの性能が時間の経過とともに低下する恐れがあります。

パフォーマンス低下の根本原因を突き止めるのは、非常に時間のかかる作業です。AI Continuous Testingは、そうした原因と、関連するデータポイントを自動的に明らかにします。

モデルの挙動を可視化

複数のモデルを運用する場合、その挙動を手動で監視し続けるのには大変なコストがかかります。

AI Continuous Testingは、すべての運用中のモデルのパフォーマンスを自動的にモニタリングするため、ユーザは表面化した不具合の修正のみに専念することができます。

自動の閾値設定とアラート機能

データは状況に応じて変化するため、予測の妥当性を示す閾値を設定することが必要です。

AI Continuous Testingは、この閾値設定のプロセスを自動化し、その閾値を超えた場合にアラートします。

あらゆるモデルのモニタリング

複雑なモデルに対しても、高度なモニタリングを実現します。Robust Intelligence Platformは、Tabularモデル、NLPモデル、コンピュータビジョンモデルなどへのサポートが可能です。

シームレスな統合              

たった1行のコードで導入できます。アラートや再学習のパイプラインと接続することで、本番環境の機械学習フレームワークに組み込めます。

「AIのお守り」を自動化 

モニタリングダッシュボードに費やす時間を減らし、モデルの不具合に対する原因分析を自動化することで、データサイエンティストやエンジニアが問題解決に専念できます。

カスタマイズした指標のトラッキング

標準的な指標だけでなく、それぞれのビジネスにとって不可欠な指標を柔軟に定義し、トラッキングできます。
企業がAIの導入を加速する中で、モデルの失敗がもたらす影響は深刻化しています。企業は、社会的・経済的な悪影響を防ぐため、モデルのライフサイクルを通じて対策を講じなければならなりません。機械学習モデルのガバナンスを実現させるRobust Intelligenceは、NECのAI活用に関する豊富な経験と知識にさらなる強みをもたらします。私たちは、NECの様々な業界のお客様に対して、安全・公正なAIシステムを提供するために協力していきます。
Yousuke Motohashi
Principal Researcher
セブン銀行は、ATMサービスや金融サービスの中核にAIを活用し、社会的な課題やニーズにお客様の視点で取り組んでいます。Robust Intelligenceは、こうしたAI活用において欠かせないモデルの品質を保証するものです。Robust Intelligenceにより、お客様の行動やニーズの変化など、潜在的な変化に対して常にAIの状態を保証することができ、お客様目線のサービスのさらなる飛躍が可能になります。
Yoshiyuki Nakamura
Assistant General Manager, Corporate Transformation
東京海上グループでは、保険金支払業務、商品提案からカスタマーサポートに至るまで、さまざまな領域でAIを活用しています。Alのメリットは計り知れませんが、事業に導入すればするほど、リスクもより深刻化します。Robust Intelligenceが提供するユニークな技術を使えば、Alの脆弱性を特定し、こうしたリスクに対処することができます。私たちは、Robust Intelligenceとの連携を図り、ビジネス上のコラボレーションをさらに加速させることを約束します。
Masashi Namatame
Chief Digital Officer
Robust Intelligenceプラットフォームを利用することで、かつて手動で行っていた品質管理のプロセスが促進され、より効率的で、頑健で、統一的な開発が可能になりました。Robust Intelligenceのエンジニアの技術的なスキルは素晴らしいです。
Eiji Yoshida
Head of IOWN Innovation Office

もっと見る

Tabular

Read More

Natural Language Processing

Read More

Computer Vision

Read More