アンケートの自由記述が数百件たまっているのに、読み切れないまま報告の締め切りが来る。問い合わせの内容を毎月手で分けているが、担当者によって分け方が違う。生成AIに任せたいけれど、どう頼めばよいか、結果をそのまま使ってよいかが分からない。
最初に決めたいのは、生成AIに渡す前の「分類の基準」(どのカテゴリーに、何を入れるか) です。基準を人が先に決めておけば、AIには1件ずつ当てはめる作業を任せられ、結果も確かめやすくなります。
自分も、自由記述や問い合わせを分類したことがあります。そのときは形態素解析(文章を単語に分ける方法)を使い、同じような語を数えて分けました。今なら、生成AIを使って分類したほうが良いと強く思っています。
この記事でわかること
- 自由記述・問い合わせの分類で、生成AIに任せる作業と人が担う作業の分け方
- 社内ルールの確認から、分類の基準づくり、抜き取りの確認までの5つの手順
- 分類すると業務の何が良くなるか(全件を読んで分ける時間が減り、改善の順番を件数で決められる)
結論：分類の基準は人が決め、生成AIには「基準に当てはめる作業」を任せる
生成AIに「いい感じに分けて」と頼むより、カテゴリーの定義を渡して「この基準で分けて」と頼む方が、確かめられる分類になります。
進め方は、次の5つの手順です。
- 入力してよい情報かを社内ルールで確かめ、個人情報を外す
- 分類の基準(カテゴリーと定義)を人が決める
- 少ない件数で試し、基準を直す
- 全件を分類し、件数は表計算で数える
- 結果を人が抜き取りで確かめる
問い合わせ理由などを分類して件数の多い順に並べる取り組みは、次の記事でも「小さなデータ活用」の1つとして紹介しています。
任せる作業・任せない作業：AIは「読んで当てはめる」、人は「何に分けるか」と「どう直すか」
分類の作業のうち、生成AIに任せやすいのは大量の文章を読んで当てはめる部分です。何に分けるか、結果をどう使うかは人が決めます。
| 作業 | 担当 | 理由 |
|---|---|---|
| 何に分けるか(カテゴリーの定義)を決める | 人 | 分け方は「誰が、何を改善するために見るか」で変わるため |
| 1件ずつ読んで、どのカテゴリーに当たるかを決める | 生成AI(下書き) | 同じ基準で大量の文章を読む作業は、任せやすい |
| カテゴリーごとの件数を数える | 表計算(Excelなど) | 数え間違いを避け、元の件数と照らし合わせるため |
| 結果を抜き取りで確かめる | 人 | 生成AIは、もっともらしい形で分け間違えることがあるため |
| 何から改善するかを決める | 人 | 件数だけでなく、業務やお客様への影響を見て決めるため |
カテゴリーの案を生成AIに出してもらい、たたき台にすることはできます。採用するかどうかは人が決めます。
件数が少なく1回きりの分類なら、人が読んで分けた方が早いこともあります。生成AIが役に立つのは、件数が多い、毎月続く、担当者によって分け方がばらつく、といった場面です。
手作業で実施すると、とにかく時間がかかります。特に人(自分)はミスをするので、その確認にかかる時間がかかります。
生成AIで分類する手順：5つのステップ
手順の中心は「分類の基準づくり」です。基準が決まると、AIへの頼み方も、結果の確かめ方も決まります。
1. 入力してよい情報かを確かめ、個人情報を外す
問い合わせやアンケートには、名前・連絡先・注文番号など、個人や顧客を特定できる情報が入っていることがあります。最初に、社内のルールで次の2点を確認します。
- 業務で使ってよい生成AIのサービス(会社として契約しているものがあるか)
- そのサービスに入力してよい情報の範囲(顧客情報・個人情報を入れてよいか)
入力した内容がどう扱われるか(AIの学習に使われるかどうかなど)は、使うサービスの利用規約と契約のプランで確かめます。分からないときは、情報システムの担当や上司に確かめてから進めます。
入力してよい場合でも、渡すのは用件の文章だけにします。名前・連絡先などの列は外し、代わりに通し番号(ID)をつけます。 文章の中に名前や電話番号が書かれていることもあるので、見つけたら消します。IDがあれば、分類の結果を元の表に戻せます。
2. 分類の基準(カテゴリーと定義)を人が決める
カテゴリーは、分類した結果を誰が、何の改善に使うか から決めます。よくある質問のページを直したいなら用件別、商品の説明を直したいならサイズ・素材などの項目別、というように、結果が次の作業につながる分け方にします。
基準には、カテゴリー名に加えて次の3つを書きます。
- 定義：そのカテゴリーに入れるもの
- 境目のルール：2つのカテゴリーにまたがるとき、どちらに入れるか
- 「その他」と「要確認」：どれにも当たらないもの、迷うものの置き場所
抜けやすいのは境目のルールです。「交換したい。送料はかかるか」は、返品・交換にも支払いにも読めます。「用件が2つあるときは、最初に書かれた用件で選ぶ」と決めておけば、AIも人も同じ分け方になります。アンケートの自由記述は1つの回答に複数の意見が入りやすいので、複数のカテゴリーを許すか、先に意見ごとに分けるかも決めておきます。
自分は、カテゴリーを分析の仮説をもとに決めることが多いです。業務の目的からどういう基準が欲しいかを、クライアントとセッションして決めることもあります。
3. 少ない件数で試し、基準を直す
いきなり全件を入れず、まず20件ほどで試します。頼み方の例です(カテゴリーは、下の具体例で使う架空のものです)。
通販サイトのお問い合わせ内容を、次の基準で1件ずつ分類してください。
【カテゴリーの定義】
・配送：届かない、届くのが遅い、届け先の変更
・返品・交換：返品・交換の依頼、方法や条件の質問
・支払い・請求：支払い方法、請求の金額、引き落とし
・ログイン・会員情報：ログインできない、登録内容の変更
・商品の仕様：サイズ・素材・使い方など、商品そのものの質問
・その他：どれにも当てはまらないもの
【ルール】
・1件につき1つ。用件が2つ以上あるときは、最初に書かれた用件で選ぶ
・迷うものは「要確認」とする
・定義にないカテゴリーを作らない
【出力】
ID・カテゴリー・判断の理由(20字以内)の表で、入力と同じ件数・同じ順番で出してください。
結果を人が読み、人の分け方と違うものを探します。違いが基準のあいまいさから来ているなら、頼み方の言い回しより先に、定義と境目のルールを書き足します。 判断の理由を出してもらうと、どの定義で読み違えたのかが分かります。
4. 全件を分類し、件数は表計算で数える
一度に大量に入れると、途中が抜けたり順番がずれたりすることがあります。何回かに分けて入れ、そのたびに 入力した件数と、結果の件数が同じか を確かめます。
結果はIDで元の表に戻し、カテゴリーごとの件数は、Excelのピボットテーブルや COUNTIF 関数(条件に合うセルの数を数える関数)で数えます。生成AIに件数まで数えてもらうと、合計が元の件数と合わないことがあるためです。
5. 結果を人が抜き取りで確かめる
最後に、次の4点を人が確かめます。
- 件数：入力した件数と、結果の件数が同じか
- 「その他」「要確認」：全件を人が読む。多いときは、カテゴリーか定義が足りていない
- 各カテゴリー：数件ずつ元の文章を読み、定義どおりに入っているか
- 判断の理由：理由が定義と合っているか
違っていたものは人が直し、直した理由を基準に書き足します。毎月続ける分類なら、これが翌月の基準になります。
自分がAIで分類したときは、AIの分類結果が分析の目的・業務の目的に即しているかを確かめたうえで、その分類を採用するかどうかを判断しています。
具体例：架空の通販サイトの問い合わせを分類すると
分類が役に立ったかどうかは、件数の表から「次に何を直すか」が決まるかで分かります。
以下は説明のための架空の例です。通販サイトの問い合わせ窓口が、1か月分の問い合わせを手順3の基準で分類したとします(文章・件数はすべて仮のものです)。
| ID | 問い合わせ内容(個人情報を外した後) | カテゴリー | 判断の理由 |
|---|---|---|---|
| 1 | 注文して1週間たっても届かない。追跡番号も表示されない | 配送 | 届かないという用件 |
| 2 | サイズが合わないので交換したい。送料はかかるか | 返品・交換 | 最初の用件が交換 |
| 3 | 色が写真と違って見える。返品できるか | 要確認 | 商品の仕様か返品か迷う |
IDの3は人が読み、写真との違いの指摘として「商品の仕様」に入れ、境目のルールにも書き足します。件数をピボットテーブルで数えると、次のようになったとします。
| カテゴリー | 件数(仮) | 次に考えること |
|---|---|---|
| 配送 | 120 | 発送までの目安を、注文確認メールやよくある質問に書けないか |
| 返品・交換 | 60 | 返品・交換の手順のページが分かりにくくないか |
| ログイン・会員情報 | 40 | パスワード再設定の案内が届いているか |
| 支払い・請求 | 8 | 件数は少ないがお金に関わる。全件を読み、請求の誤りがないかを見る |
現場目線の注意点：件数の順位だけで決めない、基準を黙って変えない
生成AIで分類が速くなっても、改善の順番を決める判断と、先月と比べられる基準の管理は、人の仕事として残ります。
件数の多い順だけで改善を決めない。 件数の少ないカテゴリーにも、請求の誤りや安全に関わる指摘など、影響の大きい声が入っていることがあります。「影響が大きいカテゴリー」を先に決めておき、そこは件数に関係なく全件を人が読みます。業務の棚卸しで、時間の大きさと「ミスしたときの影響」を並べて見たのと同じ考え方です。
基準を変えたら、日付と内容を記録する。 カテゴリーを足したり定義を変えたりすると、同じ名前のカテゴリーでも中身が変わります。記録がないと、件数が増えたのが問い合わせの変化なのか、分け方の変化なのかを区別できません。基準の末尾に「変えた日・変えた内容」を1行ずつ残し、同じ基準で分けた月どうしで比べます。
業務への着地：読む時間を「確かめる時間」に移し、改善の順番を件数で話せるようになる
分類を生成AIに任せると、全件を読んで分ける時間が、基準を整えて結果を確かめる時間に置き換わります。
業務で変わるのは、次の3つです。
- 読み込みの時間：人が全件を読んで分ける作業が、基準づくりと確認に変わります。どのくらい変わるかは件数や文章の長さで違うため、試す前と後で「分類にかかった時間」を同じ物差しで比べてください
- 声の偏りの見落とし：最近読んだ声や強い言葉の声に引っ張られず、全体のうち何が多いかが見えます
- 改善の優先順位：件数と影響の大きさを並べ、「どれから直すか」を関係者と同じ表を見て決められます
「問い合わせが増えて忙しい」を「先月より配送の問い合わせが増えている」と言い換えられると、相談や報告も伝わりやすくなります。数字で話せるようになることの意味は、次の記事でも書いています。
まとめ
自由記述・問い合わせを生成AIで分類するときは、次の5つを順に進めます。
- 社内ルールで使ってよいサービスと入力してよい情報を確かめ、名前・連絡先を外してIDをつける
- 「誰が、何の改善に使うか」からカテゴリーを決め、定義・境目のルール・「その他」「要確認」を書く
- 20件ほどで試し、人の分け方と違うところは基準を書き足す
- 何回かに分けて全件を分類し、件数の一致を確かめ、件数は表計算で数える
- 「その他」「要確認」は全件、各カテゴリーは数件ずつ人が読み、直した理由を基準に残す
基準を人が持ち、当てはめる作業をAIに任せると、読む時間を確かめる時間に移しながら、改善の順番を件数と影響で決められるようになります。
