AIのバイアスのシナリオ

最近のことですが、Amazonが採用のための履歴書のスクリーニングを自動化するためのシステムを機械学習で作ろうとしました。

Amazonの従業員の男女比は現在、男に多く偏っているので、成功した過去の採用というのも「男」のデータに偏ってしまいます。当然そういったバイアスの入ったシステムが出来上がってしまいました。

Amazonはそのことに気づいたので、そのシステムがプロダクション・システムとして展開されることはありませんでした。

ここで最も重要なことは、男女を識別できる明らかな情報は履歴書のデータから、あらかじめ外されていたにもかかわらず、システムはバイアスを持ってしまったということです。

システムは「成功している従業員」というサンプルデータを見て、別のパターンを発見したのです。

例えば、女性は自分たちの達成したことについて男性とは違った言葉で表現するかもしれません。学校時代には違ったスポーツをやってたかもしれません。システムは何がアイスホッケーなのか、何が「人」なのか、何が「成功」なのかを知りません。ただテキストのデータをもとに統計的な分析をしているだけです。

しかし、それが見ているパターンは、人間が気づくようなものであるとは限りません。成功の話をする言葉づかいに男女間で違いがあるということは、私達はすでに知っています。しかしそれでも、そうしたバイアスをデータの中に見つけるのは難しいのです。

ここまでのところ、「人」と「人の性質」に関する話をしてきました。世の中の多くの議論はこのあたりに集中しています。

しかし「人」に関するバイアスとは問題の一部に過ぎません。私達は人間以外にも機械学習を使います。そしてそうしたもの全てにバイアスが存在するのです。さらに、たとえ「人」に関するシステムを作っているとしても、データの中に入っているバイアスは人間に関するものであるとは限らないのです。

これを理解するために以下の3つケースを考えてみましょう。

1. 様々なタイプの人達が同じ数ずついるということはありません。なので、あなたの持っている写真に写っている肌の色が違う人たちの割合にはバランスが取れていないといったケースです。こうしたデータをもとに作られたシステムが肌の色素をもとに間違った予測をしてしまうことになります。
2. あなたのデータには特に記述するほどではないが、それなりに目立つものが入っていて、それらは偏りをもって散らばっているといったケースです。皮膚がんの写真の中にある定規、または羊の群れの中にある草原をもとに学習してしまうシステムができてしまうようなケースです。
3. あなたのデータには、人間が「たとえ見つけようとしても」見つけることのできない特徴が含まれているかもしれないというケースです。

ところで、この最後の「たとえ見つけようとしても」というのはどういう意味でしょうか？

私達には事前知識というものがあります、何に注意すべきかというものです。例えば「男女間には違いがある」と言ったようなことです。

定規が写っている写真を見れば、私達には定規が見えます。そして無視するでしょう。なぜならそれは私達の注意に値しないと思うからです。しかし、システムは何もそうした事前知識を持っていません。そしてこのことを、私達人間はついつい忘れてしまうのです。

もし健康でない肌の写真は白熱灯の電気を使ったオフィスで撮られており、健康な肌の写真は全て蛍光灯の光のもとで撮られていたとしたらどうでしょう。

または、もしかすると健康な肌の写真と不健康な肌の写真を撮る前後であなたのスマホのOSがアップグレードされていたかもしれません。そして、そのアップグレードの中に、Apple（またはGoogle）がノイズを抑えるための小さな変更を加えていたかもしれません。

これは、どんなにがんばっても人間の目には見えないというような違いかもしれません。しかし、機械学習のシステムには簡単に識別することの出きる違いであり、その違いが使われてしまうことになるのです。

AIのバイアスの管理

それでは、こうした問題にどう対処していけばいいのでしょうか。以下の3つが考えられます。

• 機械学習をトレーニングするためのデータの収集と管理に関しての徹底したプロセスを作る。
• モデルがどういう動きをしているかを分析、診断するためのツールを用意する。
• 機械学習を使ったプロダクトを展開するためのトレーニング、教育を提供する。

こうした問題はこれまでにもあったことなのですが、新しいのは、もう人間が統計的な分析を行っていないということです。それはマシンによって行われており、そうしたマシンが作り出すモデルを人間が分析するには大変複雑で大きすぎます。

「モデルの透明化」というのはバイアスに関する懸念としてよく問題とされますが、「バイアスがある」ということだけが問題なのではありません。

それよりもバイアスがあるかどうか見極めることが難しいということこそが問題なのです。

これは監査することができるような、明確で論理的なステップを持ったこれまでの組織の意思決定プロセスや自動化とは根本的に違うものなのです。

そもそも既存のシステムや組織における意思決定の仕組みを理解できるとか、監査できるというアイデアは理論上は正しくても、現実の世界では間違っています。

大きな組織でどう意思決定が行われるのかを監査するのは簡単ではありません。意思決定に関する公式なプロセスというのはあるかもしれませんが、中にいる人達が実際に毎日そういうプロセスに従っているということはないでしょう。そもそも人間は明確で論理的、さらにシステム化されたやり方で意思決定しているわけではないのです。

人間だってブラックボックスなのです。それを組織の中の何千もの人々が一緒になったとしたら、その問題は複式で増えていくほどに大きくなります。

組織や人間というシステムが、あなたが監査をし、理解し、変更を加えることができるような明確なロジックに裏打ちされたルールに従うというのは簡単です。しかしこれまでの経験はそうでないということがわかっています。これは、Gosplan（旧ソビエト連邦の国家計画委員会、国民経済に関する5カ年計画。）の迷信といっしょなのです。

もっと簡単なレベルで言うと、古くなったカーナビの地図に従って川に落っこちてしまった運転手が後を絶たないという問題といっしょです。もちろん、そこで使われている地図は絶えず最新のものにアップデートされているべきでしょう。しかし、あなたの車が川に浮かんでしまった責任のどこまでをTomTom（カーナビのシステムを作っている会社）が負う必要があるのでしょうか。

よくある大学や研究機関のトップクラスの研究者が訴えるAIのバイアスの問題というのは、ある意味わかりやすいものです。

しかし、一番の脅威となるのはテクノロジーのコンサルティング会社やソフトウェアのベンダーがオープンソースの世界で作られているコンポーネント、ライブラリー、ツールなどを理解することなくまとめて使ってしまい、それを「AI」という印がついていれば質問すること無しに買ってしまうようなあまり洗練されていない人たちに売ってしまい、それをさらに最低賃金で働いている従業員たちに渡し、システムの言うことは何でもそのとおりにやれと言ってしまうような事態でしょう。

これはAIに特別の問題というわけではありません。こういう問題は以前にもデータベースをもとにしたシステムの時代にもあったことです。そしてソフトウェアの問題でもないのです。これは実は人間の問題なのです。

結論

AIという単語はこういった話をするときには助けになりません。私達が映画に出てくるような、理解することの出きるインテリジェンスを持ったマシン（HAL9000やSkynetなど）を私達人類が作り上げたかのような印象を与えてしまします。しかし、そうではありません。こうしたものはただのマシンに過ぎません。

そういう意味では、むしろ洗濯機に例えたほうが役に立つかもしれません。洗濯機は服を洗うのは人間よりもはるかに得意です。しかし、もし皿を入れて、スタートボタンを押してしまったら、洗濯機はそのまま洗ってしまうことでしょう。

しかし、これはあなたが求めていた結果とはなりません。というのもこの洗濯機のシステムは皿を洗うということは考慮していない、つまり「バイアス」が入ったシステムだからです。洗濯機は何が服で何が皿かということを知りません。それはただ「洗う」ことの自動化に過ぎないのです。

車であれ、飛行機であれ、データベースであれ、こうしたシステムはものすごく力を持っていると同時に、ものすごく限られた使い方しかできません。

それらをどう使うかは人間次第で、使う人がどれだけ理解しているか、こうしたシステムの挙動に関してどれだけ教育されているかにかかっているのです。

機械学習はデータの中にあるパターンを見つけます。どんなパターンなのかはデータに依存しています。そしてそのデータは私達に依存していて、そうして見つかったパターンをどう使うかというのも人間に依存しています。

機械学習は特定のことをするには人間よりもはるかに優れています。それは犬が人間よりも麻薬の検出をするのがはるかに得意だというのと一緒です。しかし、犬が検知したからと言って、それだけでいきなり逮捕はしません。人間が間に入って確かめるものです。

そして、犬はどんな機械学習よりもはるかにもっとインテリジェント（知能がある）なのです。

以上、要訳終わり。