7|高リスクAIシステムが満たすべき要件(その6:正確性・堅牢性など)
(1) 高リスクAIシステムは、適切なレベルの精度、堅牢性、サイバーセキュリティを達成し、ライフサイクルを通じて一貫した性能を発揮するように設計・開発されなければならない(15条1項)。
(2) 高リスクAIシステムの精度レベルおよび関連する精度指標は、添付の使用説明書で宣言されなければならない(同条3項)。
(3) 高リスクAIシステムは、発生する可能性のあるエラー、不具合または不整合について、可能な限り強靭でなければならない。この点に関して、技術的および組織的な対策を講じなければならない(同条4項)。
(4) 高リスクAIシステムの堅牢性は、バックアップやフェイルセーフ計画(=障害発生時に安全となる方向に作動する計画)を含む技術的な冗長性ソリューションによって達成される(同項)。
(5) 市場投入、あるいは運用が開始された後も学習を続ける高リスクAIシステムは、偏った出力が将来の運用のための入力に影響を及ぼす可能性(フィードバック・ループ)のリスクを排除、または可能な限り低減するような方法で開発されなければならない。また、そのようなフィードバック・ループは適切なリスク緩和措置によって適切に対処されるようにしなければならない(同項)。
(6) 高リスクAIシステムは、システムの脆弱性を悪用することによって、その使用、出力、性能を変更しようとする無権限の第三者による試みに対して強靭でなければならない(同条5項)。
(7) AI固有の脆弱性に対処するための技術的解決策には、必要に応じて、学習データセット(データポイズニング)、または訓練に使用される事前訓練済みコンポーネント(モデルポイズニング)、AIモデルに誤りを犯させるように設計された入力(敵対的な事例またはモデル回避)、機密性攻撃、またはモデルの欠陥を操作しようとする攻撃を防止、検出、対応、解決、および制御するための対策を含まなければならない(同項)。
(注記)前文では「高リスクのAIシステムは、そのライフサイクルを通じて一貫した性能を発揮し、その意図された目的に照らして、また一般的に認められている技術水準に従って、適切なレベルの精度、堅牢性、サイバーセキュリティを満たすべきである」(前文74)とする。また「有害又はその他の望ましくない挙動を防止又は最小化するための適切な技術的解決策を設計及び開発することによって、技術的及び組織的措置を講じるべきである。このような技術的解決策には、例えば、特定の異常が発生した場合、またはシステム外部の要因で誤動作が行われた場合に、システムの動作を安全に中断することを可能にするメカニズム(フェイルセーフ計画)などが含まれる」(前文75)としている。さらに「サイバーセキュリティは、システムの脆弱性を悪意のある第三者が悪用することで、AIシステムの使用、挙動、性能を変更したり、セキュリティ特性を侵害しようとしたりする試みに対して、AIシステムが回復力を持つことを保証する上で重要な役割を果たす」とし、したがって、「リスクに見合ったレベルのサイバーセキュリティを確保するために、高リスクAIシステムの提供者は、基盤となるICTインフラも適宜考慮しながら、セキュリティ管理などの適切な対策を講じる必要がある」(前文76)とする。
本条では、AIシステムそのもの、AIシステムの運用に生ずる事態、外部からの攻撃などによるAIシステムの堅牢性、強靭性の確保が求められることを述べている。本条は高リスクAIシステムにおいて、技術的に、社会あるいは個人への悪影響の発生の抑止、被害の最小化を求める条文である。
5――高リスクAIシステム提供者の義務