(5) 生体データの無差別収集:インターネットやCCTV(監視カメラ)映像から顔画像を無制限に収集し、顔認識データベースを作成または拡張するAIシステムを使用すること(同項(e))は禁止される。
(注記)前文では「インターネットやCCTVの映像から顔画像を無制限にスクレイピング(=データの余分な部分を削除し、抽象化されたデータにすること)して顔認識データベースを作成・拡大するAIシステムを市場に投入したり、そのような特定の目的のために使用したりすることは、集団監視の感覚を助長し、プライバシーの権利を含む基本的権利の重大な侵害につながる可能性があるため、禁止されるべきである」(前文(43)とする。たとえば犯罪が行われた現場を監視カメラでとらえたケースで、事前に収集した顔画面データと照合して犯人を割り出すことが考えられる。一見、合理的なようにも思えるが、一般大衆の顔データを取締目的でデータベース化することは政治体制や為政者次第で一般大衆のデモ抑圧や不当逮捕などの表現の自由に対する大きな脅威になる。したがって禁止されるべきである。これも一部の権威主義的国家では実現している可能性がある。
(6)感情認識システム:職場や教育施設内での自然人の感情を推測するためのAI システムを市場に出すこと,この特定の目的のために使用すること(同項(f))は禁止される。ただし、医療及び安全確保目的であるものは許容される。
(注記)前文では「感情の表現は文化や状況によって、また一個人であってもかなり異なるため、感情を識別または推論することを目的としたAIシステムの科学的根拠には深刻な懸念がある。このようなシステムの主な欠点として、信頼性の低さ、特異性の欠如、一般化可能性の低さが挙げられる。したがって、AIシステムが自然人の生体データに基づいて感情や意図を特定または推論することは、差別的な結果をもたらし、関係者の権利と自由を侵害する可能性がある」(前文44)とする。感情認識システムとは、たとえばコールセンターのシステムにおいて顧客の感情を判断し、顧客の口調を柔らかく加工するなど、職員による対応の支援を行うようなAIシステムが既に実現している。このようなAIシステムは安全確保とも言い難く、本規則では文言上は禁止対象になりそうである。ただ、このようなAIシステムの目的に問題があるとも思われないが、どうであろうか。
(7) 機微な特徴を利用した生体分類システム:人種、政治的意見、労働組合員、宗教的または哲学的信条、性生活または性的指向を推測または推論するために、生体データに基づいて個々の自然人を分類する生体分類システムを市場に投入すること、また、このような目的のために使用すること(同項(g))は禁止される。
(注記)前文でも条文と同様に「個人の政治的意見、労働組合員、宗教的または哲学的信条、人種、性生活または性的指向を推測または推論するために、個人の顔や指紋などの自然人の生体データに基づく生体分類システムは禁止されるべきである」(前文30)と記載されている。たとえば特定の政治的意見を有する人の生体データを収集・分析し、この結果に基づいて特定個人の政治的意見を推論するものである
6。このような行為は非常に差別的であり、また民主主義や個人の尊厳に悪影響を及ぼすことは明らかであることから、禁止される。
6 AIがどの程度利用されたかは定かではないが、ケンブリッジ・アナリティカ社が大統領選にあたって、Facebookユーザーの情報をもとに、特定候補に投票するよう誘導することが行われた。現時点でのAIシステムではより高度な操作が行われしまう危険がある。