「空振り」と「見逃し」どちらが問題?－機械学習の評価尺度には人間の感覚が生かされている

保険研究部主席研究員兼気候変動リサーチセンターチーフ気候変動アナリスト兼ヘルスケアリサーチセンター主席研究員篠原拓也

◇ 適合率と再現率を両方用いて評価することが一般的

それでは、他の判断の例ではどうか。気象予報の線状降水帯の発生予報を見てみよう。先ほどまでと同じく、100回の予報をもとに、混同行列を作る。

この表の場合は、線状降水帯の予報の有無と実際の発生の有無が一致していたケースが100回のうち70回(＝10回＋60回)あった。

残りの30回については、「線状降水帯が発生すると予報したが、実際は発生しなかった」誤りが13回。「線状降水帯の発生を予報しなかったが、実際は発生した」誤りが17回だった。この結果、適合率は10/23＝43.5％、再現率は10/27＝37.0％となっている。

ここで、迷惑メールの判断や感染症の診断とは異なる点が出てくる。線状降水帯の発生予報で悩ましいのは、偽陽性も偽陰性も減らしたい、つまり適合率も再現率も高めたいと考えられる点だ。

偽陽性の場合、被災の可能性のある地域の住民が、予報に従って避難したのに、線状降水帯は発生しないことになる。被災しないという点はよいが、お年寄りや小児などの避難者が、さまざまな肉体的・精神的な負担を被ってしまう点は軽視できない。

一方、偽陰性の場合、予報が出ていないために避難していないなかで、線状降水帯が発生して洪水などの災害が起こり多くの人が被災する恐れがある。

このため、「空振り」の偽陽性と、「見逃し」の偽陰性のどちらも減らしていくことが求められる。

◇ 適合率と再現率を組み合わせた指標「Fスコア」を用いて評価することが考えられる

AIの機械学習では、データを分類するモデルの評価尺度として、「Fスコア」(※)が用いられる場合がある。まず、「F₁スコア」として、適合率と再現率の調和平均、つまり逆数の平均の逆数をとる尺度がシンプルなものとして挙げられる。

(※)「Fスコア」という名称は、1992年にコンピュータやコンピュータ科学に関する第4回メッセージ理解会議(MUC-4)で紹介されたときに、コンピュータ科学の学者Van Rijsbergen氏の著書に記載されていた別のF関数にちなんで名付けられたとされる。

先ほどの線状降水帯予報の例では、適合率は43.5％(＝10/23)、再現率は37.0％(＝10/27)だったので、F₁スコアは、逆数の平均の逆数をとって、F₁＝1/((23/10＋27/10)/2)＝10/25＝40％となる。

F₁スコアは、適合率と再現率がともに100％のとき、最大値100%をとる。適合率と再現率のいずれかが0のとき、最小値0となる。

F₁スコアが大きいということは、適合率と再現率がともに大きいことを意味する。このため、F₁スコアは、適合率も再現率も高めたいというニーズに合致した尺度となる。

◇ 適合率と再現率のバランスには人間の感覚が必要とされる

F₁スコアは、適合率と再現率を同程度に重視する尺度である。だが、場合によっては、適合率よりも再現率を重視したいといったこともありうる。

先ほどの線状降水帯の予報の例でいえば、避難者の肉体的・精神的な負担となる偽陽性の問題もさることながら、避難せずに被災してしまう偽陰性の問題のほうが重大だと考えられる。つまり、偽陽性を問題とする適合率よりも、偽陰性を問題とする再現率を重視したい、ということになる。

このように、適合率と再現率のバランスを調整する尺度として、F_βスコアがある。算式で表すと、次のようになる。

F_βスコア　＝　｛(1+β²)×(適合率)×(再現率)｝／｛(β²×(適合率)＋(再現率))｝

ここで、βは実数とされ、β²は0以上の値となる。β²が1のときは、F_βスコアは、F₁スコアと同じになる。β²が1より小さい場合、F_βスコアは再現率の変化よりも適合率の変化に敏感に反応する。つまり、適合率を重視していることになる。β²が0のときは、F_βスコアは、適合率に一致する。

一方、β²が1より大きい場合、F_βスコアは適合率の変化よりも再現率の変化に敏感に反応する。つまり、再現率を重視していることになる。β²が無限大のときは、F_βスコアは、再現率に一致する。

このようにF_βスコアを使えば、適合率と再現率の重要性をβの設定として盛り込むことができる。すなわち、評価者の感覚に応じて、適合率と再現率のバランスを調整できるわけだ。

通常、AIの機械学習において、βはデータサイエンティストが設定する。両者のバランスをどうとるかは、人間であるデータサイエンティストに委ねられることになる。

複雑なAIの機械学習において、問題の重要性に関する人間の感覚が生かされることとなる。

いま世の中はAIブームの真っ盛りといえるが、まだしばらくは、人間の感覚が必要とされるのかもしれない。そんなことを考えながら、AI開発に関するさまざまなニュースを見てみるのもよいだろう。

(参考文献)

「なっとく! 機械学習」Luis G. Serrano著, 株式会社クイープ監訳(翔泳社, 2022年)

“The truth of the F-measure”Yutaka Sasaki(Teach tutor mater. Vol. 1, no. 5. pp. 1–5., 2008)

“F-score”(Wikipedia)

日付	タイトル	執筆者	媒体
2024/10/01	生成AIと保険－保険事業やアクチュアリー業務に、生成AIをどう活用できるか?	篠原拓也	保険・年金フォーカス
2024/09/24	気候変動問題のコスト意識－日本の人々の意識の特徴はどこにあるか?	篠原拓也	基礎研レター
2024/09/17	ハロウィンジャンボの楽しみ2024－一攫千金のドキドキ感と100万円以上当せんのワクワク感の配分は?	篠原拓也	研究員の眼
2024/09/10	モンティ・ホール問題とベイズ推定－追加情報に応じて取るべき行動をどう変えるか?	篠原拓也	研究員の眼

日付

タイトル

執筆者

媒体

2024/10/01

生成AIと保険－保険事業やアクチュアリー業務に、生成AIをどう活用できるか?

篠原拓也

保険・年金フォーカス

2024/09/24

気候変動問題のコスト意識－日本の人々の意識の特徴はどこにあるか?

篠原拓也

基礎研レター