データラングリングが分析者にとってなぜ必須のスキルなのか

データサイエンスやデータ分析と言うと、難しいアルゴリズムなどを使って驚くようなインサイトを導き出すというイメージがあるかもしれません。

しかし、実はデータサイエンスの80％ほどの時間は「データラングリング」というデータの整形や加工作業に費やされています。

一部では「前処理」と言われたりもしますが、例え「前処理」が終わったきれいなデータであっても、データを分析する際に次から次へと出てくる様々な質問に答えるためには、データの形を柔軟に変え、様々な計算処理を行っていく必要があります。

ここで、実際に例を2つほど見てみましょう。

名寄せの問題

下にあるのはユニコーン企業とその投資家（Select Investors）のデータです。投資家の列を見ると、同じSoftbankでも別々の表記になったデータが入っています。

ここで問題となるのは、投資家の件数を集計しようとした際に、表記が異なることで別々な「投資家」として数えらてしまうということです。

こういった場合は、同じ意味を表す値を同じ文字として揃える必要があります。一般的には「名寄せ」などと呼ばれます。

Exploratoryでは「テキストデータの加工」のUIを使って名前を揃えることができます。

横長のデータを縦長にする

下にあるのはAppleが公開している世界の移動傾向データです。このデータは日ごとに値があるのですが、それぞれの日が列となっているため、横に長くなっています。

このデータを使って、ラインチャートで移動傾向を可視化したいとしましょう。

しかし、このデータは日ごとに列があるために、X軸に対して日付列を割り当てることができず、時系列の推移を可視化できません。

こうした問題は、日付ごとに列が分かれている横長のデータを、日付と値の2列にまとめた縦長のデータに変換することで解決できます。

一度縦長のデータにすると、後はそれぞれの列をチャートに割り当てるだけで、移動データの日毎の推移を簡単に可視化できるようになります。

Exploratoryでは、「ワイド型からロング型へ変換」のUIを使ってこうしたデータの形を簡単に変えることができます。

Appleの移動傾向データのように、データの形を「横持ち」から「縦持ち」のデータに変えることで可視化ができるようなり、データから知識を得られるようになっていきます。

上記の2つの例で見てきたように、必要に応じて様々なデータラングリングの手法を使ってデータを柔軟に、そして素早く加工、整形することができれば、データの分析、可視化のレベルが一気に上がり、よりクオリティの高いインサイトをデータから導き出すことができるようになります。

データラングリングのスキルを向上するための6つのステップ

それではデータラングリングのスキルを習得、さらに向上するためにはどうしたらいいのでしょうか。

そこで次に挙げる6つのステップ（参照）が参考になると思います。