EUのAI規則(２/４)－高リスクAIシステム

保険研究部取締役研究理事兼ヘルスケアリサーチセンター長松澤登

6｜高リスクAIシステムが満たすべき要件（その5：人的監視措置）
(1) 高リスクAIシステムは、適切なヒューマン・マシン・インターフェース・ツールを含め、使用期間中、自然人が効果的に監視できるような方法で設計・開発されなければならない(14条1項)。

(2) 監視措置は、高リスクAIシステムのリスク、自律性のレベル、使用状況に見合ったものでなければならず、以下（図表12）のいずれかのタイプの方策またはその両方を通じて確保されなければならない（同条3項）。

(3) 高リスクAIシステムは、適切かつ比例的に、人間による監視を行う自然人が以下のこと（図表13）が可能となるような方法で、配備者に提供されなければならない（同条4項）。

（注記）前文では「適切な人間による監視手段を、システムの提供者が、そのシステムの市場投入またはサービス開始前に特定すべきである。そのような措置は、システムが、システム自身によって上書きされることのない、内蔵された運用上の制約を受け、人間の操作者に反応することを保証する必要がある。また、監視の役割を割り当てられた自然人が、その役割を遂行するために必要な能力、訓練、権限を有していることを確保すべきである。また、高リスクAIシステムには、適切な場合、監視を割り当てられた自然人が、悪影響やリスクを回避するために、いつ、どのように介入するか、あるいはシステムが意図したとおりに機能しない場合に停止するかどうかについて、十分な情報を得た上で判断できるよう誘導し、通知する仕組みが含まれていることが不可欠である」（前文73）とする。

ここで言われていることは、人の生命・身体・財産をはじめとする権利についての判断について、AIシステムが人間の関与の余地なく最終的な結論を出すことは避けなければならず、そのために適切な人による監視措置が行わなければならないということである。

7｜高リスクAIシステムが満たすべき要件（その6：正確性・堅牢性など）
(1) 高リスクAIシステムは、適切なレベルの精度、堅牢性、サイバーセキュリティを達成し、ライフサイクルを通じて一貫した性能を発揮するように設計・開発されなければならない(15条1項)。

(2) 高リスクAIシステムの精度レベルおよび関連する精度指標は、添付の使用説明書で宣言されなければならない（同条3項）。

(3) 高リスクAIシステムは、発生する可能性のあるエラー、不具合または不整合について、可能な限り強靭でなければならない。この点に関して、技術的および組織的な対策を講じなければならない（同条4項）。

(4) 高リスクAIシステムの堅牢性は、バックアップやフェイルセーフ計画（＝障害発生時に安全となる方向に作動する計画）を含む技術的な冗長性ソリューションによって達成される（同項）。

(5) 市場投入、あるいは運用が開始された後も学習を続ける高リスクAIシステムは、偏った出力が将来の運用のための入力に影響を及ぼす可能性（フィードバック・ループ）のリスクを排除、または可能な限り低減するような方法で開発されなければならない。また、そのようなフィードバック・ループは適切なリスク緩和措置によって適切に対処されるようにしなければならない（同項）。

(6) 高リスクAIシステムは、システムの脆弱性を悪用することによって、その使用、出力、性能を変更しようとする無権限の第三者による試みに対して強靭でなければならない（同条5項）。

(7) AI固有の脆弱性に対処するための技術的解決策には、必要に応じて、学習データセット（データポイズニング）、または訓練に使用される事前訓練済みコンポーネント（モデルポイズニング）、AIモデルに誤りを犯させるように設計された入力（敵対的な事例またはモデル回避）、機密性攻撃、またはモデルの欠陥を操作しようとする攻撃を防止、検出、対応、解決、および制御するための対策を含まなければならない（同項）。

（注記）前文では「高リスクのAIシステムは、そのライフサイクルを通じて一貫した性能を発揮し、その意図された目的に照らして、また一般的に認められている技術水準に従って、適切なレベルの精度、堅牢性、サイバーセキュリティを満たすべきである」（前文74）とする。また「有害又はその他の望ましくない挙動を防止又は最小化するための適切な技術的解決策を設計及び開発することによって、技術的及び組織的措置を講じるべきである。このような技術的解決策には、例えば、特定の異常が発生した場合、またはシステム外部の要因で誤動作が行われた場合に、システムの動作を安全に中断することを可能にするメカニズム（フェイルセーフ計画）などが含まれる」（前文75）としている。さらに「サイバーセキュリティは、システムの脆弱性を悪意のある第三者が悪用することで、AIシステムの使用、挙動、性能を変更したり、セキュリティ特性を侵害しようとしたりする試みに対して、AIシステムが回復力を持つことを保証する上で重要な役割を果たす」とし、したがって、「リスクに見合ったレベルのサイバーセキュリティを確保するために、高リスクAIシステムの提供者は、基盤となるICTインフラも適宜考慮しながら、セキュリティ管理などの適切な対策を講じる必要がある」（前文76）とする。

本条では、AIシステムそのもの、AIシステムの運用に生ずる事態、外部からの攻撃などによるAIシステムの堅牢性、強靭性の確保が求められることを述べている。本条は高リスクAIシステムにおいて、技術的に、社会あるいは個人への悪影響の発生の抑止、被害の最小化を求める条文である。

5――高リスクAIシステム提供者の義務

1｜高リスクAIシステム提供者の義務（総論）
高リスクAIシステム提供者の義務は図表14の通りである(16条)。高リスクAIシステムの開発・提供にあたって課せられる義務が列挙されている。

（注記）本条は本規則の各所で規定されている提供者の義務をまとめて記載したものである。

2｜高リスクAIシステム提供者の義務（各論）
(1) 品質管理システム：高リスクAIシステムの提供者は、本規則の遵守を確実にする品質管理システムを導入しなければならない。当該システムは、体系的かつ整然とした方法であって、方針、手順書及び指示書の形で文書化されるものとする(17条1項)。

（注記）品質管理システムに含まれる項目は、規制遵守のための戦略などをはじめとする13項目が挙げられているが、ここでは省略する。

前文では「提供者は、健全な品質管理システムを確立し、要求される適合性評価手順の達成を確保し、関連文書を作成し、強固な市販後モニタリングシステムを確立しなければならない」（前文81）とする。キーワードはEUの定めたAIルールである1) 適合性評価 (43条、次回レポートで解説予定)の手順を遵守するものであることと、2) 必要な情報の文書化(11条、18条)、3) 市販後モニタリングシステム(72条、次々回のレポートで解説予定)を確立するものである。

(2) 提供者は、高リスクのAIシステムが市場投入または使用開始されてから10年を経過するまでの期間、各国所轄当局の裁量のもと、以下（図表15）を保管しなければならない(18条1項)。

（注記）前文では「高リスクのAIシステムがどのように開発され、その耐用期間を通じてどのように機能するかについて、理解しやすい情報を持つことは、システムのトレーサビリティ（追跡可能性）を可能にし、本規則の要求事項への適合を検証し、運用のモニタリングと市場後のモニタリングを行うために不可欠である。そのためには、AIシステムの関連要求事項への適合性を評価し、市場投入後のモニタリングを容易にするために必要な情報を含む、ログと技術文書の保管が必要である」（前文71）とする。本条では保管すべき文書類について規定している。これら文書はAIシステムの稼働状況や重大インシデント発生時の発生原因調査や改善措置対応などに用いられる。

(3) ログの保管：高リスクAIシステムの提供者は、その高リスクAIシステムによって自動的に生成される第12条(1)に言及するログを、当該ログが自己の管理下にある限りにおいて保管しなければならない。ログは、適用されるEU法又は国内法、特に個人情報の保護に関するEU法に別段の定めがない限り、高リスクAIシステムの意図された目的に応じた適切な期間、少なくとも6ヶ月間保管されなければならない(19条1項)。

（注記）ログを取得・保管する理由は、前条の注記と同様である（前文71）。

日付	タイトル	執筆者	媒体
2025/04/28	欧州委、AppleとMetaに制裁金－Digital Market Act違反で	松澤登	研究員の眼
2025/04/18	資金決済法の改正案－デジタルマネーの流通促進と規制強化	松澤登	基礎研レポート
2025/04/16	公取委、Googleに排除命令－その努力と限界	松澤登	研究員の眼
2025/04/11	AlphabetにDMA違反暫定見解－日本のスマホ競争促進法への影響	松澤登	研究員の眼

日付

タイトル

執筆者

媒体

2025/04/28

欧州委、AppleとMetaに制裁金－Digital Market Act違反で

松澤登

研究員の眼

2025/04/18

資金決済法の改正案－デジタルマネーの流通促進と規制強化

松澤登

基礎研レポート