1. もっと現実的な問題に向き合う必要がある。

例えば正規分布の理論こそがシンプルな唯一の問題解決のフレームワークになるというような問題があったとき、そうした正規分布の理論を用いた手法から始めるのにはもっともな理由があるかもしれません。しかしそのことは、そこで分析を終えてしまうという理由にはなりません。

2. データ分析では、結果は「おおよそ」のレベルで十分役立つ

正式な仮説や前提というのは、現実世界の状況において完全に対応できるようなものではない。

例え結果が見かけ上は正確に見えるときでも、それを現実の世界で応用する場合には、「だいたい」というレベルになる。その結果、「だいたい」というレベルの推測や計算結果が現実世界で応用される時、「正確だ」というふりをしているもの以上に「だいたい」ということはないのである。

「だいたい」というレベルの結果は、他の誰かが「正確だ」という結果とほぼ同じようなものなのである。

3. 特定のデータ分析の技法（techniques）を評価するときには、実世界で使われたときの結果を集める必要がある。

データ分析の特定の技法が理想的な環境でどう動くのかに関する数学的、または実証的な研究にはとても大きな価値があるのは確かである。しかし、それでも現実の世界での実データをもとにした評価にはかなわない。

4. データ分析には「繰り返す」やり方が必要だ。

一つの分析の結果、別の分析が必要になるという事態を避けるために、一回きりの分析をするというのは「よさそう」な計画だ。

繰り返しや、計算処理を何度も行なわないですむために、1つの線でつながったいくつかの事前に想定されたステップからなる一つの分析を行なうというのは「よさそう」だ。

しかし、よいデータ分析がこうした「よさそう」ということによって行われると考えるのは現実的ではない。

どうやってよりよいデータ分析を行なえばいいかを学べば学ぶほど、計算処理は、シンプルになるというよりは、より広範囲に及び、またもう一度分析を行うというのがあたりまえとなっていくものだ。

5. 同じ分析の中で、シグナル（兆候）と結論の両方が重要だということを受け入れるべきだ。

例えば、確かなシグナルではないのなら、それは使えない。そうしたシグナルのいくつかは忘れてしまったほうがいい程に弱い。確かなシグナルに近いのであれば、ただちに次の作業に入ったほうがいいだろう。

データの構造が広がるに連れて、興味深いシグナルを探すために必要なものと、結論を出すために必要なものの間にあるギャップはより複雑になっていくものだ。

6. シグナルを探すためには、アドホックで形式張らない分析手順を自由に使いこなすことが必要だ。

私達の目的はデータが何を指し示しているのかを調べることなのだから、正式な分析手順、もしくは、必要以上のルールや原則といったものにとらわれるのは馬鹿げている。

7. 新しい領域や新しいタイプの分析手法を研究し始めるときは、シグナルを探すための手法が、結論を出すための手法より先に、洗練されていくというのが普通である。

データ分析において未知の領域を開拓するとき、データが何を提示しているのかを学ぶことにより多くの時間を費やすべきだ。何が結論として確立されるのかという質問に関することに考えをめぐらせるのは後でいいのだ。

これは、確率を含むほぼすべての懸念事項はもっと後の分析フェーズで考慮すればいいということを意味する。

8. 統計的に有意なのか、信頼に足らないのか、に関するエラー率の判断は二重基準が必要になる。

データ分析を学ぶ者や構築する者にとっては、エラー率の5％が実は4％なのか、または6％なのか、または5％と4.5％または5.5％といった取るに足らない小さな違いに真剣になるのは、意味のあることなのかもしれない。

しかし、実際にデータ分析を仕事で行うものとして、私達はエラー率に関してもっとアバウト（coarser）な態度で臨むべきです。それは、業界でよく使われているような1％とか5％といったものの違いを気にしすぎてもしょうがいないということです。

役に立つインサイトを得たいのであれば、結論を出すための手法は正確である必要はありません。実際にデータ分析を仕事で行うものとして、私達はこのことを認識しておく必要があります。

9. どのような実験的なサイエンスでも、ある状況のもと何が起きるかということに関しての確からしさというのは、実験や理論から直接得られるのではなく、一見関係なさそうに見える複数の事象の間にある相関から得られるものだ。

データ分析がこれまでもそうであったように、これからも実験的なサイエンスであるためには、実験的なサイエンスの態度を持って臨むべきである。

つまり、どのような分析のアプローチをとるかというのは、自分の手元にある状況によって決めていくというよりは、よりシンプルな、または似たような状況に関する理解をもとに参考に決めていくものだ。

10. データ分析とはユークリッド平面幾何学のような演繹的システム（logico-deductive system）の上に成り立つというような虚しい希望をもつのはあきらめ、本質的には実証的なサイエンスなのだという事実を受け入れるべきだ。

これを聞いてがっかりする人達もいるだろう。もしデータ分析が演繹的システムではありえないというなら、それは野暮なテクノロジーに過ぎないのではないかと。

私はそうした意見には賛同しない。データ分析にはテクノロジーといえる側面があるのはこれからも変わらない。しかし、知的な冒険、知見を導き出すことに対する願望、そして、「物事はほんとうはどうなっているのか」を知るために調査をしたり、得られた知見を実世界での経験と照らし合わせたりするといった、刺激的なサイエンスの側面も持っているのだ。

以上、要訳終わり。

演繹法 vs. 帰納法

ところで、途中で演繹法というのが出てきますが、本文では「logico-deductive system」となっています。これはロジック（理論）が先にあって、それが実の世界にあてはまるのかどうかを検証するという手法です。

それに対して、帰納法というのがあります。これは、ガリレオ・ガリレイ、ニュートン、ジョン・ロックといった人たちがエンライトメント（啓蒙思想）の時代に作り上げていくモダン・サイエンスの手法でもありますが、理論から入るのではなく、現実の世界で起きている中での私達の「経験」を観察し、その中からパターンを認識し仮説を構築、ついには理論へと導いていくという手法です。

こうした当時においては新しい手法や思考法が、16世紀以降のヨーロッパ（後にアメリカ）でのサイエンスとそれをもとにしたテクノロジーの爆発的な進化を可能にします。そしてその果実をもっとも享受することになったのがヨーロッパ、そして後のアメリカであり、その圧倒的な力（政治、経済、軍事）をもって世界を支配していくことになるわけです。

実は、この「演繹法 vs. 帰納法」の違いというのは重要で、この「帰納」的な考えを「実証主義」としてさらに追求していくことになるのが独立以降のアメリカで、その最新の形態が最もよく見られるのがシリコンバレーです。このことは、シリコンバレーを理解する上でもっとも重要なことだと思います。

Google、Facebook、Netflixと言った会社の共通点は、理論であれこれ考えててもどうせ間違っているかもしれないのだから、まずはデータを使って現実の世界から学び仮説を構築する、そして現実の世界でその仮説をテスト（A/Bテスト）するということを毎日やっていますが、これは「帰納法」的なモダンサイエンスの思考法なのです。

話がそれましたが、これはデータ分析においてもそうで、テューキーの言うデータ分析とはこの「帰納」的な思考において欠かせない手法であり、まさにデータ分析こそが「帰納」的な思考の実践方法なのだと言えるのではないでしょうか。

そして、昔の時代からいる「統計とは最適化だ」と主張する人たちは、「演繹」的な思考を信じている人たちだということです。この最新の形態が、現在Kaggleなどで機械学習のモデルの精度を上げることに意味を見出している人たちと言えると思います。

ちょっと内容の濃いい話を駆け足でしてしまいましたが、データ分析というのは、あるテンプレートがあってそれに従ってやれば簡単に役に立つ「インサイト」が得られるというものでないという現実に私達は目を向ける必要があります。

問題解決のために、頭を使い、質問を考え続け、データを使って答えながら仮説を構築していくというどろくさい、「人間的」な作業を繰り返していかなければいけないのは、今日も一緒です。

もちろん、テューキーの時代に比べれば、今日ではテクノロジーのおかげで様々なデータを収集することが簡単になりましたし、分析手法も昔に比べれば断然と使いやすく効率的になりました。当時はまだ手でチャートを描いたり、計算をしたりしていた時代なのですから、それからすればだいぶ「簡単」になったと言えると思います。

そうしたテクノロジーの進化の恩恵を受けることで、より人間らしいことにもっと時間を費やすことができるようになったわけですから、そうした人間らしいスキルの習得と向上にこそもっと取り組むべきですね。

そして、こうした点こそもっと大学のような学校教育ではもっと教えていくべきではないかと思います。すでに決まり決まったお作法や、スキルではなく。