1万行を超えるデータに対してAI 関数を実行する方法

ExploratoryのAI 関数を使うと、自然言語のプロンプトを書くだけで、各データ行に対してAIが個別に判断し、その結果を新しい列として追加できます。例えば「製品名を見て、あらかじめ決めたサブカテゴリーのいずれかに分類する」といったラベル付けが、プログラミングなしで実現できます。

例えば、以下の例では製品名の列に対して「この製品名はどのサブカテゴリーに当てはまるか」をAIに判断させ、その結果を新しい列として追加しています。

製品名のように表記が統一されていないテキストでも、AI関数は文脈を読み取って分類できるのが特長です。

一方で、AI 関数は一度に処理ができる行数は1万行までと制限をしています。

そのため、1万行を超えるデータでは、データを分割してそれぞれでAI 関数を実行し、その結果を統合する必要があります。

そこで、このノートでは1万行を超えるデータに対してAI 関数を実行する方法について、具体的な以下の手順を紹介していきます。

ステップ1: ブランチを作成する

ブランチは、メインのデータフレームの任意のステップからデータフレーム分岐させることができる機能で、各ブランチはそれぞれ独立した処理ステップを持つことができます。

今回は、1万行ずつに分けて処理するために、同じデータから3つのブランチを作成します。3つのブランチがそれぞれ「1〜10,000行目」「10,001〜20,000行目」「20,001〜30,000行目」になるように分けます。

ブランチを作成するために、任意のステップから「ブランチを作る」のボタンをクリックします。

ブランチを作成すると、データフレームの下に枝アイコンの付いたブランチデータフレームが追加されます。

この操作を繰り返して、合計3つのブランチを用意します。

なお、メインのデータフレーム側を更新した場合でも、Exploratoryは依存関係に基づいて各ブランチを自動的に再計算します。元データを後から差し替えても、各ブランチの処理は保たれたまま反映されるため、再現性を気にせず分割作業を進められます。

ブランチを作成したら、各ブランチで処理する行範囲を「行を選択」機能で絞り込みます。

ステップのプラスボタンから「これだけを残す/削除する」を選び、「行を選択」を選択します。

ダイアログが開いたら、「始めの行」と「終わりの行（オプショナル）」の入力欄に、残したい範囲の行番号を入力します。

3つのブランチで、それぞれ次のように行範囲を指定します。

設定を適用すると、右側のステップ一覧に「行を選択」のステップが追加されます。これで、各ブランチがちょうど1万行ずつを担当する状態になりました。

各ブランチで行範囲を絞り込んだら、次にAI 関数を実行します。

対象となる製品名の列のヘッダーメニューから「AI 関数を作成」を選び、「自分で指定する」を選択します。

ダイアログが開くため、プロンプトを指定します。今回は製品名からカテゴリのラベルをつけたいため、以下のプロンプトを使用します。

提供される製品名の情報を元に、以下中から適切な製品サブカテゴリーのラベルをつけてください。

アクセサリー
アート
コピー機
テーブル
バインダー
ファスナー
ラベル
切る用品
収納用品
家電製品
封筒
携帯電話
本棚
椅子
機械
紙
軽家具

また、ダイアログにある「データを分割して並列処理をする」というチェックボックスがありますが、この機能はデータを分割し、複数のまとまりを並列でAIへ問い合わせるオプションです。このオプションがオンの場合は1万行まで対応ができますが、オフの場合は3000行までとなるため注意が必要です。

実行すると、AIが各製品名を判定し、その結果が新しく製品カテゴリーの列が追加されます。収納用品・ファスナー・家電製品といったカテゴリーに分類されているのが分かります。

同じプロンプトを残り2つのブランチでも実行します。

3つのブランチでそれぞれ1万行分の分類が完了すると、合計で3万行すべてに製品サブカテゴリーが付与された状態になります。

最終的に1つのデータにまとめたい場合は、「マージ（行を結合する）」を使って3つのブランチを1つのデータフレームに統合します。

3つのうちいずれかのブランチデータフレームを開きます。

次に、ステップメニューから「マージ（行を結合する / Union）」を選択します。

ダイアログが開いたら、マージしたいデータフレーム（残りのブランチ）にチェックを付けます。

「実行」をクリックすると、選択したブランチの行が縦に追加され、元の3万行が1つのデータフレームにまとまります。

ExploratoryのAI 関数は、自然言語のプロンプトを書くだけで各データ行をAIに判断させ、その結果を新しい列として追加できる機能です。製品名から製品サブカテゴリーを分類するようなテキストのラベル付けを、プログラミングなしで実行できます。

ただし、1万行を超えるデータの場合は複数回に分けて実行をする必要があるために、「ブランチ」機能でデータを複数に分け、各ブランチで「行を選択」を使って1万行ずつの範囲に絞り込んでからAI 関数を実行することで、行数が多いデータでも対応ができるようになります。