汚れたデータをもとにした犯罪予測システム

ところが、ニューオーリンズ市はその次の年にシリコンバレーに本社のあるデータ・マイニングのサービスを提供する会社であるPalantirと、秘密のパートナーシップ契約を結び、犯罪予測システムを作り展開しました。

このシステムは検挙に関する履歴や警察官から上がってくるレポートといった過去のデータを使って、これから起こるであろう犯罪を予測し公共の安全を守るための戦略を立てるために使われるとのことでした。

しかし、データをきれいにしたり、前述にあったような司法省によって指摘された問題を修正したりすることが行われることはなかったようです。

おそらく、間違ったデータはそのまま予測システムに読み込まれ、このことによってこれまでの警察部門の人種差別的なやり方がこのシステムによってさらに持ち込まれることになりました。

こうした犯罪予測システムを警察が使うのはアメリカの都市部では普通になってきています。こうしたシステムに対する透明性がないので正確な数字はつかみかねますが。

こうしたシステムは多くの場合、人員不足の警察組織の効率性を高めるため、さらにデータ・ドリブンな意思決定が行えるようにするために使われると謳われています。

機械学習のシステムというのは、学習したデータと同じレベルの品質しか出せないものです。

もしデータが間違っているのであれば、必要以上に監視されているマイノリティの人種のコミュニティーにより多くの警察の人員を割り当てることになってしまいます。

テック・ウォッシング

いわゆる「テック・ウォッシング」ということが起きています。

こうしたシステムを使う人達はそれがコンピューターなので、中立または客観的だろうという仮定のもとに使ってしまっているのです。

しかし、実際にはこうしたシステムのいくつかはあきらかに憲法や法律に違反しているのです。

犯罪予測システムをこれまでに使っていた13の司法管轄区を調べてみたところ、9つでシステムが「汚いデータ」によって学習された予測モデルを使っていることを示す強い証拠が見つかっています。

なぜデータは汚いのか

ニューオーリンズのように、マイノリティ（少数派）に関するバイアス（偏り）の入ったデータだけが問題だというわけではありません。

いくつかのケースでは、一般に公開される犯罪率の数値を下げるという政治的な重圧のもとで警察部門がわざとデータを加工したり結果を変えたりするということが行われていました。

ニューヨークの場合は、犯罪に関する数値を人工的に低く見せるために、犯罪の起きた現場で警察が被害者に正式にレポートしないように要請していました。

警察官の中には、麻薬に関する犯罪の検挙率の目標を達成するために、無実の人たちに対して麻薬を「植える」（家や車の中で見つかったというふりをして、実は自分たちが持ってきた麻薬を取り上げて見せること）ということを行っていました。

将来の犯罪を予測するための機械学習にたよっている今日の犯罪予測システムでは、こういった壊れているデータが正しい予測変数として扱われてしまっています。

他人事なシステム構築ベンダー

こうしたソフトウェアを作っているベンダーは、そのようなバイアス（偏り）のかかった結果は簡単に修正することができると言います。しかし、全てのケースでわかっているデータの問題とはシステム的な問題なのです。

それゆえ、この問題を解決するには単純に1つや2つの間違いを取り除くといった以上のことが必要になってきます。良いデータと悪いデータを切り離すというのはそんなに簡単なことではないのです。

さらにシステムを作ったベンダーはシステムに入っていくデータをまったく検査していないということがわかりました。

犯罪リスク評価システムにも問題がある

アメリカで使われている犯罪リスク評価システムにも非難が集まっています。これは機械学習を使ったシステムで、容疑者が裁判で刑が決まるまでの間どう扱われるべきかといったことや、犯罪が確定した場合の刑の重さを決めたりするのに使われています。

ここで問題になっているデータは取締りのシステムに使われているわけではありません。それは警察システムのあらゆるところで使われているのです。

予測結果ではなく、その仕組みの理解、そして因果関係の理解こそが重要

現在はシステムの仕組み自体に関しての議論ばかりです。つまり、どのようにシステムをデザインすることで数学的に公平な結果を出すことができるのかというものです。

しかし多くの研究者は、これは間違った質問だと言います。

「これを社会的なシステムの問題と切り離して、アルゴリズムの問題にフォーカスしてそれを解決しようとしても、本当の問題の解決には対して役に立たないでしょう。こうした数学や計算をもとにしたアルゴリズムだけではバイアスの問題を解決することができないということを認識する必要があります。」

こうした意思決定を自動で行なうようなシステムがどのように作られているのかを、作っている人たちにしっかりと説明させ、その使われ方を監視する仕組みを政府レベルで作っていくべきです。

そうした「汚いデータ」を生成することになった社会的、政治的な仕組みが改革されない限り、そうしたツールは役に立つというよりも、害になります。

このことに気づくことができると、議論は、「どのように機械学習や他の先端的なテクノロジーを使って犯罪のもととなる原因を解決することができるだろう。」というものにシフトしていきます。貧困や失業、そして住居の問題を解決するために政府のデータを使うことこそ、有効なやり方なのではないでしょうか。

要訳、終わり。

データサイエンスに使われるのではなく、使いこなす

データとAIの限界を正しく理解した上で、データと機械学習や統計のアルゴリズムを使いこなせれば、今までの人間ベースのシステムよりもはるかに優れたシステムを作ることができるチャンスがあります。

そもそも今回のような問題が起こるのは、人間が持ち込むバイアスが機械学習によって最適化され、その予測結果を盲目的に信じてしまうことでバイアスを持ったシステムが広く多くの人に使われてしまうということです。

ただここで一歩止まって、統計や機械学習のモデルを使ってデータの中にあるパターンを理解することに努めることで、データの中に入り込んでしまったバイアスに気づき、そのことに対する議論を進めることができます。

予測と因果関係

また、統計のモデルを使うことで、因果関係を構築していくための議論を進めていくことができます。

つまり、だれが犯罪を起こすかもしれないのかという予測ではなく、なぜその人達が犯罪をおこすという予測が出るのか、それはどういう理由があってそうなるのか、という因果関係のことです。

どれくらいの犯罪がどこで起きるかということが予測ができると、例えば取り締まりに必要な人員や予算を割り当てることができます。しかし、因果関係がわかれば、犯罪が起きる仕組みを変えていくことで、そもそも検挙しなくてはいけない犯罪者の数を減らしていくことにつながります。

これはビジネスでも同じですね。例えば、サブスクリプションのビジネスであった場合、誰がチャーン（キャンセル）するのか、または誰がコンバートするのかを予測できるというのはもちろん便利かもしれません。しかし、それよりもなぜコンバートするのか、なぜチャーンするのかといったことを解明できたほうが、対策を早めに打っていくことができますし、その効果は大きくスケールします。

データサイエンス x 人間性

もちろん、こうした因果関係を調べるのはただ単にデータとアルゴリズムだけで片付けることができるようなものではありません。そこではドメイン知識や仮説を検証するための仕組みをデザインしたりする必要がでてきます。

しかし、こうした社会の、またはビジネスの因果関係の解明に努めることこそが自分たちの目的を達成するための施策を計画、実行に移す上で非常に重要になるのではないでしょうか。

これからは、データサイエンスと人間性（因果関係の構築、目的の定義、価値観の定義、創造性など）を交差させることのできる個人、そして組織こそがますます社会やビジネスに求められるのではないかと思います。