2024年10月23日

EUのAI規則(2/4)-高リスクAIシステム

保険研究部 取締役 研究理事 兼 ヘルスケアリサーチセンター長 松澤 登

このレポートの関連カテゴリ

文字サイズ

(4) 是正措置:高リスクAIシステムの提供者は、その提供者が新規投入又は運用を開始した高リスク AI システムが本規則に適合していないと考え、又はそう考える理由がある場合には、直ちに、当該システムを適合させるために必要な是正措置を講じ、適宜、撤回し、使用不能にし、又は回収しなければならない。また、当該高リスクAIシステムの販売業者、配備者、認定代理店及び輸入業者にその旨を通知しなければならない(20条1項)。

(注記)前文において是正措置とは「システミック・リスクの可能性がある汎用AIモデルに関連するリスクを特定し、防止するための努力にもかかわらず、当該モデルの開発または使用により重大なインシデントが発生した場合、汎用AIモデルの提供者は、過度の遅滞なくインシデントを追跡し、関連する情報および可能な是正措置を欧州委員会および各国の所轄当局に報告すべきである。」(前文115)とする。この前文は次回レポートで述べるシステミック・リスクを有する汎用AIモデルについての記述であるが、重大インシデントが発生した場合には是正措置および報告を行うことが高リスクAIシステムの提供者にも求められている。
 
(5) 当局との協力:高リスクAIシステムの提供者は、所管当局からの合理的な要請があった場合、当該当局に対し、高リスクAIシステムが上記4(8条~15条)に定める要件に適合していることを証明するために必要なすべての情報及び文書を、当該当局が容易に理解できる言語であって、当該加盟国が指示するEUの公用語の一つで提供しなければならない(21条1項)。

(注記)当局への報告について前文では「本規則の施行を可能にし、事業者に公平な競争条件を設けるため、また、デジタル製品のさまざまな利用可能化形態を考慮すると、いかなる状況においても、域内に設立された者が、AIシステムのコンプライアンスに関するすべての必要な情報を当局に提供できるようにすることが重要である」(前文82)とされる。本条は高リスクAIシステム提供者に本規則遵守状況を所管当局に報告させるための規定である。

(6) 第三国に設立された提供者は、その高リスクAIシステムを域内市場で販売する前に、書面による委任状により、域内に設立された認定代理人(authorized representative)を任命しなければならない(22条1項)。

(注記)前文によると認定代理人は「域内に設立された者が、AIシステムのコンプライアンスに関するすべての必要な情報を当局に提供できるようにすることが重要である。したがって、AIシステムを域内で利用可能にする前に、第三国に設立された提供者は、書面による委任により、域内に設立された認定代理人を任命しなければならない」(前文82)こととされている。また、情報の当局への提供のほか「認定代理人は、域内に設立されていない提供者が域内で市場投入または使用する高リスクAIシステムのコンプライアンスを確保する上で、また域内に設立された提供者の連絡窓口として、極めて重要な役割を果たす」(同前文)とする。

6――高リスクAIシステム輸入業者・販売者・配備者の義務

6――高リスクAIシステム輸入業者・販売者・配備者の義務

1|高リスクAIシステム輸入業者の義務
輸入業者(importers)は、高リスクAIシステムを市場に出す前に、以下(図表16)を確認することにより、当該システムが本規則に適合していることを保証しなければならない(23条1項)。
【図表16】輸入業者の確認事項
(注記)ここで輸入業者とは第三国に設立された自然人または法人の名称または商標が付されたAIシステムを市場に流通させる、域内に所在または設立された自然人または法人をいう(3条(6))。この認定代理人は、前文では「AIシステムのバリューチェーンの性質と複雑性に鑑み、また、新たな法的枠組みに沿い、法的確実性を確保し、本規則の遵守を促進することが不可欠である。したがって、AIシステムの開発に貢献する可能性のある輸入業者や販売業者など、バリューチェーンに沿った関連事業者の役割と具体的な義務を明確にする必要がある」(前文83)こととされている。23条はこの観点から輸入業者が果たすべき義務を列挙している。
2|高リスクAIシステム販売業者の義務
販売業者(distributors)は、高リスクAIシステムを市販する前に、そのシステムに必要なCEマーキング(48条、次回レポートで解説予定)が付されていること、EU適合宣言書(47条、次回レポートで解説予定)の写し及び使用説明書(13条)が添付されていること、並びに、該当する場合、そのシステムの提供者及び輸入者が、提供者の商標・住所を表示すること(16条(b))、 品質マネジメントシステムを有すること(16条(c))、 輸入業者の商標・住所を表示すること(23条(3))を確認しなければならない(24条1項)。

(注記)ここで販売業者とは提供者または輸入業者以外のサプライチェーンにおける自然人または法人で、AIシステムを域内市場で入手できるようにする者をいう(3条(7))。販売業者に関して前文では「AIシステムのバリューチェーンの性質と複雑性に鑑み、また、新たな法的枠組みに沿い、法的確実性を確保し、本規則の遵守を促進することが不可欠である。したがって、AIシステムの開発に貢献する可能性のある輸入業者や販売業者など、バリューチェーンに沿った関連事業者の役割と具体的な義務を明確にする必要がある」(前文83)とある。開発を行わず、単にAIシステムの販売を行う者の義務を列挙した条文である。
3|高リスクAIシステムのバリューチェーンにおける責任
販売業者、輸入業者、配備者又はその他の第三者は、以下の図表17のいずれかに該当する場合、本規則上、高リスクAIシステムの提供者とみなされ、16条に基づく提供者の義務を負うものとする(25条1項)。
【図表17】提供者としての義務を負う者(販売業者、輸入業者、配備者等)
(注記)前文では「法的確実性を確保するため、特定の条件下では、販売業者、輸入業者、配備業者、その他の第三者は、高リスクAIシステムの提供者とみなされ、したがって関連するすべての義務を負うことを明確にする必要がある。これは、当該第三者が、既に市場に投入されている、またはサービスが開始されている高リスクAIシステムにその名前または商標を付した場合であり、義務を別の方法で割り当てることを定めた契約上の取り決めを損なうものではない」(前文84)とする。これは販売業者等がAIシステムを変更した場合において責任者を明確にし、かつ被害や弊害が発生した場合に、責任がどこに存するかを定めるための規定である。
4|高リスクAIシステムの配備者の義務
高リスクAIシステムの配備者の義務は以下の図表18の通りである(26条)。
【図表18】高リスクAIシステム配備者の義務
(注記)本条は配備者の義務をまとめて規定したものである。前文では、「AIシステムの性質と、その使用に関連する可能性のある安全や基本的権利に対するリスク(現実の環境におけるAIシステムの性能の適切な監視を確保する必要性を含む)を考慮すると、配備者の具体的な責任を定めることが適切である。配備者は特に、リスクの高いAIシステムを使用説明書に従って使用することを確保するために、適切な技術的・組織的措置を講じるべきであ」る(前文91)とする。すなわち、AIシステムを実際に利用するのは配備者であり、そのため配備者の利用如何により人権などに悪影響を及ぼす可能性があることから、モニタリングや、ログの記録、司法当局への使用認可申請(8.事後遠隔生体識別AIについて)などの義務を果たさなければならないというものである。
5|高リスクAIシステムの基本的権利影響評価
6条2項にいう高リスクAIシステム4の配備に先立ち、公法に準拠する機関である配備者、又は公共サービスを提供する民間団体である配備者、並びに付属書Ⅲの5項(b)(=自然人の信用度評価・スコアを算出するためのAIシステム)及び5項(c)(=生命保険や医療保険において、自然人に関するリスク評価やプライシングに使用されることを意図したAIシステム)にいう高リスクAIシステムの配備者は、当該システムの使用が基本的権利に及ぼす影響の評価を実施しなければならない(27条1項)。

(注記)前文では「基本的権利の保護を効率的に確保するため、公法に準拠する機関である高リスクAIシステムの配備者、または公共サービスを提供する民間団体、および銀行や保険団体など本規則の付属書に記載された特定の高リスクAIシステムの配備者は、使用開始前に基本的権利影響評価を実施する必要がある」とし、「基本的権利影響評価の目的は、影響を受ける可能性のある個人または集団の権利に対する具体的なリスクを特定し、それらのリスクが現実化した場合に取るべき措置を特定することである」(前文96)とする。公的な配備者およびそれに準ずる者は住民や契約者の基本的権利にかかわる業務を行うため、これら住民等に与えうる影響の事前評価が求められる。
 
4 付属書IIIの2項に掲げる分野における使用を意図する高リスクのAIシステムを除く。

7――小括

7――小括

本稿で取り扱ったのは、AI規則のうち、高リスクAIシステムの定義と満たすべき要件、および高リスクAIシステムの提供者等の義務である。

高リスクAIシステムとは人間の権利と安全にリスクを生じさせかねないAIシステムのことを言うのは本文の通りである。対象となるAIシステムは網羅的に定義されているが、提供者が高リスクではないと判断した場合に登録義務はあるものの、規制を受けない方法も規定されている。

高リスクAIシステムの場合、要件として、(1)リスク管理システムの確立・文書化、(2)適切な学習用データの利用(データガバナンス)、(3)技術文書の作成・ログ保存、(4)配備者に対する使用説明書の作成、(5)人的監視措置の組み込み、(6)正確性・堅牢性の確保が求められる(8条~15条)。

システムの設計時の文書作成、運営時のログ保存、運営監視などAIシステムが適切に運用するにあたっての必要な措置は一通りそろっていると考えられる。

そして、これらのリスク管理を行っていたにもかかわらず、万一、重大事故(重大インシデント)が発生した場合についての規律については71条(次々回レポート参照)が存在する。71条は重大インシデントを把握した提供者が市場管理当局へ報告することが定められている。

さらに、この様な重大インシデントを引き起こすようなAIシステムが引き続き提供され、「リスクをもたらす」と市場監視当局が判断した場合には提供者に対して是正措置を求めることができ、是正措置を取らない場合にはAIシステムの撤去・回収を命ずることができる(79条、次々回レポート参照)とされている。

次回レポートでは「適合性審査」と「汎用AIモデル」を解説する。

(2024年10月23日「基礎研レポート」)

このレポートの関連カテゴリ

Xでシェアする Facebookでシェアする

保険研究部   取締役 研究理事 兼 ヘルスケアリサーチセンター長

松澤 登 (まつざわ のぼる)

研究・専門分野
保険業法・保険法|企業法務

経歴
  • 【職歴】
     1985年 日本生命保険相互会社入社
     2014年 ニッセイ基礎研究所 内部監査室長兼システム部長
     2015年4月 生活研究部部長兼システム部長
     2018年4月 取締役保険研究部研究理事
     2021年4月 常務取締役保険研究部研究理事
     2025年4月より現職

    【加入団体等】
     東京大学法学部(学士)、ハーバードロースクール(LLM:修士)
     東京大学経済学部非常勤講師(2022年度・2023年度)
     大阪経済大学非常勤講師(2018年度~2022年度)
     金融審議会専門委員(2004年7月~2008年7月)
     日本保険学会理事、生命保険経営学会常務理事 等

    【著書】
     『はじめて学ぶ少額短期保険』
      出版社:保険毎日新聞社
      発行年月:2024年02月

     『Q&Aで読み解く保険業法』
      出版社:保険毎日新聞社
      発行年月:2022年07月

     『はじめて学ぶ生命保険』
      出版社:保険毎日新聞社
      発行年月:2021年05月

週間アクセスランキング

ピックアップ

レポート紹介

【EUのAI規則(2/4)-高リスクAIシステム】【シンクタンク】ニッセイ基礎研究所は、保険・年金・社会保障、経済・金融・不動産、暮らし・高齢社会、経営・ビジネスなどの各専門領域の研究員を抱え、様々な情報提供を行っています。

EUのAI規則(2/4)-高リスクAIシステムのレポート Topへ