EUのAI規則(２/４)－高リスクAIシステム　|ニッセイ基礎研究所

4――高リスクAIシステムが満たすべき要件

1｜高リスクAIシステムが満たすべき要件（総論）
高リスクAIシステムは、その意図される目的、及びAI及びAI関連技術に関する一般的に認知された技術状況を考慮し、Ⅲ章2節(8条～15条)に定める要件に準拠しなければならない(8条1項。図表6)。

（注記）前文には「市場に投入され、または運用が開始された高リスクのAIシステムから生じるリスクを軽減し、高水準の信頼性を確保するために、AIシステムの意図された目的および使用状況を考慮し、かつ提供者が確立するリスク管理システムに従って、高リスクのAIシステムに一定の義務的要件が適用されるべきである」（前文64）とある。ここで課される義務としては図表6の通りである。

2｜高リスクAIシステムが満たすべき要件（その1：リスク管理システム）
(1) リスク管理システム：高リスクのAIシステムに関しては、リスク管理システムを確立し、実施し、文書化し、維持しなければならない(9条1項)。
(注記)次項の注記を参照。

(2) リスク管理システムとして、具体的には、以下（図表7）を行わなければならない（同条2項）。

（注記）前文では「リスク管理システムは、高リスクAIシステムのライフサイクル全体を通じて計画・実行される、継続的かつ反復的なプロセスで構成されるべきである」とし、さらに「このプロセスは、提供者がリスク又は悪影響を特定し、健康、安全及び基本的権利に対するAIシステムの既知のリスク及び合理的に予見可能なリスクについて、その意図された目的及び合理的に予見可能な誤用に照らして、AIシステムとそれが運用される環境との相互作用から生じる可能性のあるリスクを含め、緩和措置を実施することを確保するものでなければならない」（前文65）とする。

AIシステムから排除しきれないリスクが存在する以上、このリスクの発生の頻度を最小限に抑え、かつ万一発生した場合にそれを直ちに特定し、そして悪影響を最小化する必要がある。この条文が規定するのはAIシステムを社会に実装する以上、避けられない問題に対処するものである。

(3) リスク管理措置の要求事項：上記9条2項(d)に言及するリスク管理措置は、各ハザードに関連する残余リスク、及び高リスクAIシステムの全体的な残余リスクが許容可能であると判断されるものでなければならない。そして、最も適切なリスク管理策を特定するにあたっては、以下（図表8）を確保しなければならない（同条5項）。

（注記）本条は、リスク発生時においてもリスク管理措置によって抑止されないリスクが許容範囲内にとどまるようなリスク管理措置を設けるべきことを定める。また、配備者に対する訓練について、前文では「予見可能な誤用に対処するために、提供者が高リスクAIシステムに対して特別な追加訓練を行うことを必要とすべきではない。しかし、提供者は、必要かつ適切な場合には、合理的な予見可能な誤用を軽減するための追加的な訓練措置を検討することが奨励される」（前文65）とする。

(4) 高リスクAIシステムにつき、最も適切で的を絞ったリスク管理措置の作動を確認する目的でテストを実施するものとする。テストは、高リスクAIシステムが、その意図された目的に対して一貫して機能し、かつ、本項に定める要件に準拠していることを確認するもの（同条6項）である。

（注記）リスク管理措置が実際のリスク発生時に実効的に稼働するかどうかテストすることを求める項目である。テストについては次項参照。

3｜高リスクAIシステムが満たすべき要件（その2：データガバナンス）
データによるAIモデルの学習を行う高リスクAIシステムは、学習用のデータセット²を使用する場合は、常に以下（図表9）で言及される品質基準を満たす学習、検証、テストのデータセットに基づいて開発されなければならない(10条1項)。

（注記）前文では「学習、検証、テストのための高品質なデータセットには、適切なデータガバナンスと管理の実践が必要である。学習、検証、テストのためのデータセットは、関連性があり、十分に代表的で、可能な限り誤りがなく、システムの意図された目的に照らして完全なものでなければならない」（前文67）とある。前文で指摘する点は重要である。たとえば、従業員採用に関して過去のデータセットを読み取らせたところ、過去には男性しか採用していなかったため、女性というだけで採用対象外判定となったという事例がある³。客観的に公平なデータセットと考えていても、実はそうでない場合がある。このような場合に備えて開発過程では慎重な取り扱いが重要となる。

² データセットとは、機械学習をするコンピュータによる自動処理を行うために用意された大量の標本データのことを指す。
³ AI事業者ガイドライン別添https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/20240419_3.pdf　ｐ14参照。

4｜高リスクAIシステムが満たすべき要件（その3：技術文書・記録保存）
(1) 高リスクAIシステムの技術文書は、そのシステムが市場に出回る前、あるいは使用開始される前に作成され、常に最新の状態に保たれなければならない。技術文書は、高リスクAIシステムが本項に規定する要件に適合していることを実証し、AIシステムがこれらの要件に適合していることを評価するために必要な情報を明確かつ包括的な形で国家所轄官庁及び被通知団体（適合性評価機関のこと。次回レポートで解説予定）に提供するような方法で作成しなければならない。AIシステムの技術文書には、最低限、付属書Ⅳ（図表10）に定める要素を含まなければならない(11条)。

（注記）前文では「高リスクのAIシステムがどのように開発され、その耐用期間を通じてどのように機能するかについて、理解しやすい情報を持つことは、システムのトレーサビリティ（追跡可能性）を可能にし、本規則の要求事項への適合性を検証し、運用のモニタリングや市場投入後のモニタリングを行うために不可欠である。そのためには、AIシステムの関連要求事項への適合性を評価し、市場投入後のモニタリングを容易にするために必要な情報を含む、記録と技術文書の保管が必要である」（前文71）とする。AIシステムもシステムそのもののバグがありうることや学習データの偏向による誤った出力をすることがあり、この場合、PDCAを回して改善をする必要がある。その基本となるのが、当該AIシステムに関する技術文書である。この技術文書をスタートとしてどこに問題が発生し、問題が想定されていた場合に、想定通りに収束したか、収束しない場合に何が問題になるのかということ等を考えていくことになる。

(2) 高リスクAIシステムは、システムの耐用年数にわたって、イベントの自動記録（ログ）を技術的に可能になるようにしなければならない(12条1項)。

（注記）前文では「技術文書は、AIシステムのライフタイムを通じて、適切に最新の状態に維持されるべきである。さらに、高リスクのAIシステムは、技術的に、システムの有効期間中、ログによるイベントの自動記録を可能にすべきである」（前文71）とする。上記(1)で技術文書を踏まえて運用したにもかかわらず不適切な結果が発生した場合に、どこがどうおかしかったのかを判断するためには出力記録であるログの記録が必要となる。このように技術文書とログを照らし合わせて問題を発見することが想定されている。

5｜高リスクAIシステムが満たすべき要件（その4：使用説明書）
(1) 高リスクAIシステムは、その運用が、配備者がシステムの出力を解釈し、適切に利用することができるよう、十分な透明性を確保するような方法で設計・開発されなければならない(13条1項)。

（注記）前文では「特定のAIシステムの不透明性や複雑性に関連する懸念に対処し、配備者が本規則に基づく義務を果たすのを支援するため、リスクの高いAIシステムについては、市場に投入される前や運用が開始される前に透明性を確保することが求められるべきである。リスクの高いAIシステムは、配備者がAIシステムの仕組みを理解し、その機能を評価し、その長所と限界を理解できるように設計されるべきである」（前文72）とする。高リスクAIシステムの運営が適切になされるためには、実際に利用する配備者にとって透明性が担保されるようにAIシステムの構築がなされる必要がある。設計・構築時における透明性の確保に加え、配備者に対する透明性を保証するのが次項で規定されている使用説明書である。

(2) 高リスクのAIシステムには、適切なデジタル形式またはその他の方法で、配備者に関連し、アクセス可能で理解可能な、簡潔、完全、正確かつ明確な情報を含む使用説明書（図表11）を添付しなければならない（同条2項）。

（注記）前文では「特定のAIシステムの不透明性と複雑性に関連する懸念に対処し、配備者が本規則に基づく義務を果たすのを支援するため、高リスクAIシステムについては、市場に投入される前、または運用が開始される前に透明性を確保することが求められるべきである。高リスクAIシステムは、配備者がAIシステムの仕組みを理解し、その機能を評価し、その長所と限界を理解できるように設計されるべきである」とされ、したがって「リスクの高いAIシステムには、使用説明書の形で適切な情報を添付すべきである」（前文72）とする。高リスクAIシステムの運営にあたっては、リスク発生抑止のため配備者がAIシステム構築にあたって予定されていた適正運用を行うことが特に大事であり、これを実効化するために提供者から配備者に提供される使用説明書が必要となる。

日付	タイトル	執筆者	媒体
2025/04/28	欧州委、AppleとMetaに制裁金－Digital Market Act違反で	松澤登	研究員の眼
2025/04/18	資金決済法の改正案－デジタルマネーの流通促進と規制強化	松澤登	基礎研レポート
2025/04/16	公取委、Googleに排除命令－その努力と限界	松澤登	研究員の眼
2025/04/11	AlphabetにDMA違反暫定見解－日本のスマホ競争促進法への影響	松澤登	研究員の眼

EUのAI規則(２/４)－高リスクAIシステム | ニッセイ基礎研究所