絶対値をとるか、二乗するか－機械学習での評価方法は誰が決める?　|ニッセイ基礎研究所

◇ 率で評価する方法もあるが…

RMSEとMAEには、それぞれ長所がある。そして、それとは別に共通する短所もある。それは、単位に依存するという点だ。先ほどの体重の予測の例で言えば、RMSEもMAEも(kg)の単位を持つ。

例えば、体重とともに身長も予測して、体重と身長の予測精度を比較したい、ということを考えると困ったことになる。体重は(kg)、身長は(cm)などと単位が異なってしまい、比較ができないためだ。

そこで、正解と予測を引き算した結果ではなく、その引き算の結果を正解の値で割り算して「誤差率」の形にして、評価に用いることが考えられる。

MAEとRMSEに対応して、(3) 誤差率の絶対値をとる方法と、(4) 誤差率を二乗する方法がありうる。誤差率の絶対値をとって、その平均を計算したものは「平均絶対誤差率 (Mean Absolute Percentage Error, MAPE)」と呼ばれる。誤差率を二乗して、その平均の平方根を計算したものは「平均平方二乗誤差率 (Root Mean Square Percentage Error, RMSPE)」と呼ばれる。

RMSPEは、RMSEと同様に微分可能だ。一方、MAPEはMAEと同様に比較的外れ値の影響を受けにくい。しかも、両者とも単位を持たない、つまり単位異存性がない。こう見ていくと、誤差率ベースのRMSPEやMAPEはいいことずくめではないか、という気がしてくる。だが、そううまくはいかない。“率”ならではの問題点もあるためだ。

先ほどの体重の予測の例で、10人目として、成人のJ氏の代わりに新生児の“Kちゃん”が入っていたとしよう。(ここで、「なんで1人だけ新生児が入っているのか？そもそも成人と新生児の体重を同一のモデルで予測することは、ナンセンスではないか？」という読者諸氏のご指摘もあるだろう。ご指摘は誠にその通りであるが、ここは、あくまで架空の話として進めさせていただきたい。)

新生児のKちゃんが入っていた場合、MAEは1.7、RMSEは2.0となった。たまたまではあるが、J氏の代わりにKちゃんが入っていたとしても、MAEとRMSEは、先ほどの予測のまま変わらなかった。

正解と予測を引き算した結果ではなく、その引き算の結果を正解の値で割り算した「誤差率」

ところが、誤差率ベースのMAPEとRMSPEで見ると、様子が違ってくる。

次の表は、上がJ氏が入っていた元々の予測、下がJ氏の代わりにKちゃんが入っていたとした場合の予測だ。

J氏がKちゃんに代わる前は、MAPEが0.029、RMSPEが0.037であったのに対し、代わった後は、MAPEが0.078、RMSPEが0.162と拡大している。これは、体重の軽いKちゃんについて、誤差率が跳ね上がってしまうためだ。

このように、正解がゼロに近付くと、誤差率は大きくなる。そしてゼロになると無限大に発散してしまう。MAPEやRMSPEには、ゼロに近い値の誤差の評価が過大になるという問題があるわけだ。

◇ AIがさらに進化したときに人間の役割は?

結局、どの評価方法にも長所や短所がある。機械学習において、どの方法で誤差を評価すべきか。これについては、しばらくは、データの特徴や外れ値などを見ながら人間が判断していくことになる。

ただし、今後さらにAIが進化していくと、こうした機械学習の方法に関する判断までもAI自身が行うようになるかもしれない。「私の知能の進化の仕組みは、私が決めます。」と言わんばかりに。

そのとき、人間の役割はどうなるだろうか?

「考えることや判断ごとは、すべてAIにおまかせ」というのでは、どこか味気ない。思考することをAIにとられてしまっては、「人間は考える葦(あし)である」という、思想家パスカルの言葉も成り立たなくなってしまう。

その代わりに、人間には、AIが行った判断の妥当性を判断する「スーパーバイザー」のような役回りが待っているのかもしれない。

2045年には訪れるだろうと予想されている“シンギュラリティ(人間の知性を上回るAIの誕生)”まで、あと約20年だ。AIに関する日々のニュース報道をみながら、そんなことに思いを巡らせるのもよいだろう。

(参考文献)

「生成AIで「フィッシングサイト」識別　警察庁が2025年度までに導入へ」 (毎日新聞 2024.3.21)

「公的機関のAI活用例、世界で共有　G7デジタル相会合」(朝日新聞デジタル 2024.3.16)

「世界初のAI規制法、EU議会で可決制裁金最大56億円」(Forbes Japan 2024.3.14)

「米新興企業のAI投資3.7兆円にロボや医療に裾野拡大」(日本経済新聞 2024.3.12)

「なっとく! 機械学習」Luis G.Serrano著, 株式会社クイープ監訳(翔泳社, 2022年)