Exploratory アワー #829 - AI 関数を使って意味のないコメントにフラグを立てて取り除く

アンケートの自由記述データにおいて、「特にありません」や「なんとなく」といった意味のない回答が含まれていると、分析の精度を下げてしまうことがあります。

今回は、AI関数を活用して、こうした意味のないコメントを自動的に識別し、分析対象から除外する方法を紹介します。AIに判断を任せることで、複雑な条件設定をすることなく、効率的にデータの質を向上させることが可能です。

問題

アンケートの自由記述（重記述）を必須項目にしている場合、回答の手間を避けるために「理由は特にないです」といった、分析に役立たない回答が混入しやすくなります。

これらのデータを含んだままセンチメント分析（感情分析）やテキストマイニングを行うと、スコアの平均値が歪んだり、無意味な単語がグループ分けの結果に影響したりして、正しい分析結果が得られないという課題があります。

今回使用するデータは、1行が1回答者のアンケートデータです。「サービスに対するコメント」という列に自由記述の回答が格納されています。

まず、AIを使ってコメントの内容を評価し、意味があるかどうかを判定するフラグ列を作成します。

対象となる列のヘッダメニューから「AI関数を作成」を選択し、「自分で作成」を指定します。

プロンプトには、以下のような指示を入力します。

提供したテキストの中で、「特にありません。」や「なんとなく。」などの、適当に回答しているデータに対してTRUEをつけてください。

この操作により、AIが各コメントの内容を文脈から判断し、意味のない回答にはTRUE、意味のある回答にはFALSEを返す新しい列が作成されます。例えば、「理由は特にないです」や「特に何もないです」といった回答に対して、正確にTRUEのフラグが立てられます。