Adansons.ai for ML evaluation & debugging
機械学習モデルの性能を最大限引き出し、運用中のインシデントを防ぐSaaS
機械学習プロジェクトの成果を最大化するには、学習したモデルを詳細かつ構造的に解釈する必要があります。
AdansonsはAIチームがモデルを評価し、モデル性能の最大化・リスク対応に向けて最適な手を打つことをサポートします。
Problems
学習したモデルを十分に評価できていますか？
今や機械学習モデルを作ることは簡単になりましたが、制限あるリソースの範囲内でモデルの性能を最適化することは困難です。
特に画像データのような非構造化データではモデルの挙動を大局的に解釈することが難しいために、精度といったメトリクスだけでの評価に頼ってしまいがちです。その結果、モデルの性能が出ない原因を明らかにすることができず、闇雲にデータを収集したり、不必要に大規模なパラメータを持つモデルを構築することになります。
また、モデルに潜むバイアスや、AIの性能が発揮されないデータ領域を見落とすことは、将来的に経済的な損失をもたらすばかりか、会社の信用を失うことになるため、AIの実用化の足枷となっています。
Product
機械学習モデルの評価・デバッグプラットフォーム
1. モデル評価・リスク調査
モデルの学習後に、メタデータを用いてモデルの出力を解析し、自動でモデルに潜むバイアスやリスクを持つデータ領域（ホットスポット）の存在を明らかにします。
データ領域は解釈が容易でありリスクへの対処も容易です。
Use Cases
モデルを説明可能にする
#自動運転, #FA, #保険, #金融, #ヘルスケア, #医療, #CV, #Tabular
メタデータを用いてモデルの出力を解析することで、バイアスの有無や、パフォーマンスのホットスポットのような将来的なリスクになり得るデータ領域の存在を明らかにします。
また、それらのデータ領域をメタデータの値の条件で表現することで、大局的にモデルを解釈できるだけでなく、データ領域ごとにプログラムで制御できるようになります。
モデルの性能を最大化する
#自動運転, #FA, #金融, #CV, #Tabular
ホットスポットのメタデータ構成を考察することで、データセットやモデルのどこに性能を悪化させる原因があるかを特定し、効果的な改善策を考えることができます。
また、データ毎に最適化されたモデルや機械学習以外のシステムを組み合わせることで、1つのモデルで全てのデータを処理するよりも省コストで機械学習システムのパフォーマンスを最大化することができます。
バイアスを調査し、モデルの公平性を改善する
#保険, #金融, #ヘルスケア, #医療, #CV, #Tabular
メタデータを用いることで、非構造化データのモデルであっても詳細にバイアスの発生状況を調査することができます。
バイアスを調査したメタデータの値に基づいてモデルへの入力を事前に検証し、モデルの出力値に対する識別閾値を調整したり、異なるモデルを組み合わせることで、バイアスを補正することができます。
運用中の性能・公平性の変化をモニタリングする
#自動運転, #FA, #ヘルスケア, #医療, #CV, #Tabular
運用中のモデルの入出力データを追跡し、現在デプロイしている機械学習システムでは対応が困難なデータが増加していることをいち早く検知してアラートします。
これによってAIチームは根拠のあるタイミングでモデルの再学習が可能になり、性能や公平性を維持することが容易になります。
戦略的な開発によりコストを削減する
#自動運転, #Factory Automation, #ヘルスケア, #医療, #CV, #Tabular
メタデータを用いてモデルを大局的に解釈し、運用前にリスクの存在やモデルの性能が低い原因を明らかにすることで、戦略的なモデルの学習、データの収集、リスク対応ができるようになり、機械学習プロジェクトを経済的かつ持続可能にします。
また、データ毎に最適化された比較的小規模なモデルを組み合わせることで、計算資源が限られている環境下でも機械学習システムの性能を最大化します。
