私のこれまでのブログポストの読者の方には、すでにお馴染みかもしれませんが、AI、機械学習、またはデータサイエンスといったものに対して、多くの人はOverestimate（過剰な期待）、またはUnderestimate（過小な期待）してしまいがちです。

最近では、AIに関するハイプがすごくて、つまりOverestiamate（過剰な期待）がすごいので、例えば、AIが選挙やスポーツの試合の結果の予測に失敗したり、AIが人の顔の認識を間違ってしまったりというように、その期待が外れると、やっぱりAIはだめだ、まだまだ人間でないとだめだ、という方向へ一気に触れてしまうことになります。

たしかに現在AIと呼ばれているものには限界があります。そのうちの一つがバイアスの問題です。つまり、AIのアルゴリズムで予測モデルを作った時に使ったデータにバイアスが含まれている場合にはそのモデルが予測する結果にもバイアスが含まれてしまうというものです。例えば白人だけのデータをもとに病気を予測するモデルを作った場合、黒人の患者の病気の症状を予測する時には間違えることが多くなるかもしれません。こちらのバイアスに関しては、こちらの「 全てのプロダクトマネージャーが知っておくべき５つの機械学習の限界と対策」の中でも触れています。

しかし、その限界を正しく理解してそうしたAIのテクノロジーを使いこなしていくことで、私達人間だけではなし得なかった、もしくはできたとしても非常に効率が悪かったようなことが、より正解に、さらにもっと効率的にできるようになるというのも事実です。

今日は、この件に関してハーバード・ビジネス・レビューが、「Want Less-Biased Decisions? Use Algorithms.」という記事の中で具体的な例を挙げながら説明していたので紹介したいと思います。

以下、要訳。

---

AlphaGo Zero等のニュースをにぎわすようなAIの進化の影で、実は、多くの組織では、昔からある機械学習や統計の手法、例えば、線形回帰、ロジスティック回帰、決定木といったアルゴリズムなどを使って、着実に、医療の診断や司法の判決から人材の採用や公共機関の資源の配分といった様々な分野で価値のあるサービスを提供し始めています。

それでは、こうしたアルゴリズムによる変革とは私達の社会にとって良いことなのでしょうか。現在、多くの批評家、学者、ジャーナリストはネガティブに捉えることが多いです。「Weapons of Math Destruction」、「Automating Inequality」、「The Black Box Society」といった本や、「Machine Bias」、「Austerity Is an Algorithm」、「Are Algorithms Building the New Infrastructure of Racism?」といったタイトルを見るだけでもこうしたAI分野の新しいテクノロジーに対するネガティブな反応をうかがい知ることができます。

理解しにくく、データによるバイアスが入り込んでいて、さらに説明責任を果たすことができない、そうしたアルゴリズムを大きな力をもった組織が手にするということに対する心配がその根底にはあるのでしょう。しかし、こうしたアルゴリズムの発展に対して私達はほんとうに心配するべきでなのでしょうか。

ここで一つ考えるべきなのは、そうした批評の対象となっているシステムやサービスがアルゴリズム無しでどれだけうまく機能するのかということです。これこそが、実際にそうしたアルゴリズムを使っている人や、アルゴリズムに関連した政策を考える者に対しての最も適した質問となるべきでしょう。

アルゴリズムの性能や、それの持つバイアスがそれまでのものと比べてどうなのかということです。ただ単純にアルゴリズムに欠陥があるかどうかを質問するよりも、こうした欠陥は人間が持っている欠陥に比べてどうなのかといった質問をすべきなのです。

この質問に答えるための、過去何十年にも渡るアルゴリズムによる意志決定に関する研究の成果がすでにあります。このトピックに関するこうした調査によると、どれも同じような結論に行きつくことになります。それは、そうしたアルゴリズムは、それが置き換えることになる人間に比べてバイアスが少なく、より正確であるということです。

2002年にある経済学者のグループが住宅ローン業界でのローンの選定作業のアルゴリズムによる自動化のインパクトを調べました（リンク）。彼らが見つけたのはローン選定の自動化システムはそれまでの人間が行っていたものに比べて、より正確に貸し倒れを予測することができ、このよくなった正確さは、特にそれまではローンが貸し出されることがなかったような人達に対しての貸出が承認される可能性を高めることにつながりました。アルゴリズムのおかげで、それまでは家を買うためのローンを組むことすらできなかったような人たちが、ローンを使って家を買うことができるようになったのです。

同じような結論は、コロンビアのビジネススクールのBo Cowgillが、あるソフトウェアの会社の採用に応募してくる人達の選定作業の自動化による影響を調べた時にも出ています（リンク）。その会社ではどの応募者をインタビューするかを自動で選択するためにアルゴリズムを使い始めましたが、それまでの人によって行われていた選定作業に比べ、もっと違ったタイプの人材を選定することとなりました。人間に比べて、アルゴリズムはそれまでその会社ではいなかったようなタイプ、例えば個人的な紹介がなかったり、有名大学出身ではないといった候補者に対してもバイアスなく公平に選択することができるようになっていたのです。

ある有名なコンピューターサイエンティストと経済学者のチームがニューヨークでの裁判の前の保釈するかどうかの判断に使われているアルゴリズムを調べたところ、現在保釈するかどうかの判断を行っている判事に比べてはるかに公平な決定を下していることがわかりました（リンク）。それによって実際に勾留する率が41.9％減り、さらにそのことによる犯罪率の上昇も見られることがなかったのです。暴力犯罪を含む全ての犯罪の種類での勾留する率の減少が見られました。そして、このことはもちろん、保釈するかどうかの判断に人種による偏見が入ることを防ぐことで、人種間の格差を解消することに役立っていたのです。

ニューヨークタイムズマガジンは最近「アルゴリズムは子どもたちが注意が必要な時期かどうかを知らせてくれるか」という質問に対して答えるための長い調査記事を発表していました（リンク）。それによると、その答えはYesで、アルゴリズムはこうしたことを人間よりもはるかに正確に行うことができ、さらに、いくつかの公共機関による悪質な人種をもとにしたプロファイリングと違って、人種や出身に関するバイアスがより少ないということでした。

こうしたどのケースにおいても、そうしたAIのシステムやサービスの構築に関わったデータサイエンティストは、メディアの言う「問題」になるようなことをやっていたわけです。つまり彼らは、人間による先見というバイアスが入った過去データを使ってアルゴリズムをトレーニングしていたということになります。

しかしそれでは、なぜこうした、お金の貸出し、人材募集に対する応募のスクリーニング、司法裁判での保釈、公共機関の資源の分配といった様々な分野でアルゴリズムはバイアスを減らすことができたのでしょうか。たくさんのコメンテーターがこうしたアルゴリズムにはバイアスがあるといっていたにもかかわらずです。