バックオフィスAIエージェントの試用で確かめるのは、自社に来る質問に何問答えられたか、答えられなかった質問が担当者に届いたか、答えを直すのに1件あたり何分かかったかの3つです。機能の多さと、社員の使った感想は見ません。1ヶ月を4週に分け、1週目は担当者だけで聞き、2週目から1つの部門に案内します。合否の線を初日の前に紙に書いておけば、最終日に続けるかやめるかを自分で決められます。
1ヶ月を4週に分けて、週ごとに役割を変えます
1ヶ月を同じ使い方で通すと、最終週になっても答えられない質問が初週のまま残ります。週ごとに役割を変えて、3週目に一度直す時間を作ります。
- 1週目。資料を渡し、担当者だけでテスト質問を聞く
- 2週目。1つの部門に案内して、社員の質問をそのまま受ける
- 3週目。答えられなかった質問の資料を足し、同じ質問をもう一度聞く
- 4週目。件数を数え、続けるかやめるかを決める
3週目に直す時間を入れるかどうかで、試用の結論が変わります。
読ませた資料が足りないだけの質問は、資料を足せば答えられるようになります。直す前の数字だけで決めると、資料の不足を製品の出来と取り違えます。
試用の前の2週間で質問を記録していれば、1週目のテスト質問はそこから選べます。記録の取り方は導入前2週間の問い合わせ記録シートにまとめています。
- 1担当者合否の線とテスト質問20問を紙に書く1時間初日の前
- 2担当者規程と手順書を渡し、テスト質問を同じ順で聞く社員にはまだ案内しない1週目
- 3社員1つの部門が普段の質問をAIに送る20人ほどから2週目
- 4担当者答えを毎日読み、そのまま返せるかを○×で付ける1日10分2週目
- 5担当者答えられなかった質問の資料を足し、もう一度聞く3週目
- 6担当者3つの数字を数え、続けるかやめるかを1枚に書く4週目
合否の線は、初日の前に決めます
試用の初日より前に、何問できたら続けるかを決めて紙に書きます。後から決めると、「思ったより答えられた」という感想だけが残ります。
線は3つの数字に引きます。
| 数える数字 | 線の例 | 線を割ったときに見ること |
|---|---|---|
| 答えのある質問に正しく答えた割合 | 20問のうち15問以上 | 渡した資料に答えが書いてあるか |
| 答えられない質問が担当者に届いた割合 | 全部届く | 社員の画面に何が出たか |
| 担当者が答えを直した時間 | 1件あたり3分以内 | どの種類の質問で直しが長引くか |
3つめの直した時間は、試用のあいだだけ測れます。
AIの答えを担当者が読んで、そのまま社員に返せたか、書き直したかを記録します。書き直しに1件10分かかるなら、担当者の仕事は減りません。
社員の人数や質問の件数を先に数えておくと、線の置き方も決まります。測り方は社内問い合わせ対応にかかっている時間の測り方に書きました。
1週目は担当者だけで聞きます
初日から社員に案内すると、答えられない質問が社員の目の前に並びます。1週目は担当者だけで聞いて、答えのもとになる資料の不足を先に埋めます。
1週目に聞くのは、答えが1つに決まる質問です。
- パスワードを忘れたと言われたらのように、手順が決まっている質問
- 経費精算の締め日を聞かれたらのように、規程に日付が書いてある質問
- 有給休暇があと何日残っているか聞かれたらのように、調べ方を案内する質問
同じ質問を3通りの言い方で聞きます。「パスワード分からない」「ロックされた」「ログインできない」で答えが変わるかを見ると、社員の言い方で使えるかが分かります。
1週目で半分も答えられないときは、社員への案内を1週遅らせて資料を足します。
読ませる文書の書き方は社内FAQをAIに読ませるときの、回答の書き方にまとめています。
2週目から1つの部門に案内します
案内する範囲は1つの部門、20人ほどにします。全社に出すと、答えられない質問が各部署に散って、原因を追えなくなります。
社員への案内文には、次の3つを書きます。
- 試用であること
- 答えが出ないときは今までどおり担当者に聞いてよいこと
- いつまで試すか
試用だと書いておけば、答えが出なかったときに社員が担当者へ聞き直してくれます。
この問い合わせが、試用のあいだに一番役に立つ記録になります。答えられなかった質問と、社員がそのあと取った行動が同時に残ります。
答えられなかった質問は、原因を3つに分けます
3週目は、答えられなかった質問を原因で分けます。分けずに資料を足すと、何を足しても答えられない質問が混ざったままになります。
- 渡した資料に答えが書いていない
- 書いてあるが、社員の言い方と文書の言葉が違う
- 会社として答えが決まっていない
1つめは資料を足せば済みます。2つめは、社員の言い回しを回答文の中に入れると答えられるようになります。
3つめは、AIを入れても解けません。
ChatGPTなどの生成AIを仕事で使ってよいか聞かれたらのように、会社の方針がまだ決まっていない質問は、先に決める人と期限を決める話になります。
- はい社員の言い方と、資料の言葉がそろっているか
- はい回答文を短くして、もう一度聞く
- いいえ社員の言い回しを回答文に足して、もう一度聞く
- はい
- いいえ会社として答えが決まっているか
- はい答えを文章にして資料に足す
- いいえ決める部署と期限を決め、試用の判定からは外す
- はい
最終日に出すのは1枚です
4週目に、次の5つだけを1枚にまとめます。機能の一覧や画面の写しは付けません。
- 試した部門と人数、期間
- 来た質問の件数。AIに来た分と担当者に直接来た分を分ける
- AIが答え、そのまま社員に返せた件数
- 担当者に回った件数と、その原因の内訳
- 続けるかやめるかと、その理由
判定の理由は、初日の前に引いた線と並べて書きます。
「20問のうち17問に答えられた。線は15問だった」と書けば、読む人は数字だけで判断できます。上司に出す形は社内ヘルプデスクの導入効果を、上司にどう説明するかに合わせます。
やめると決めたときも、同じ1枚を残します。どの質問に答えられなかったかが分かる記録は、次に別の製品を試すときのテスト質問になります。
1ヶ月で分かること、分からないこと
1ヶ月の試用で分かるのは、今ある資料でどこまで答えられるかです。1年を通した使い勝手は分かりません。
1ヶ月で分かる
- 答えの正しさ
- 今の資料で答えられる質問の範囲
- 質問の量
- ふだんの週の件数
- 担当者の手間
- 答えを直す時間
- 社員の使い方
- 案内した部門が使うかどうか
1ヶ月では分からない
- 答えの正しさ
- 規程を改定したあとの追従
- 質問の量
- 年末調整や入社が重なる月の件数
- 担当者の手間
- 半年後に資料を直し続けられるか
- 社員の使い方
- 全社に広げたあとの定着
繁忙期の件数は、試用の月だけでは出ません。
年末調整の書類はいつまでに出すか聞かれたらのような質問は、11月と12月に集まります。試用が静かな月に当たったときは、去年の問い合わせの記録から件数を見積もって1枚に書き添えます。
無料で試す場合は、月に答えられる回数の上限にも気をつけます。無料の範囲と、やめるときの資料の扱いは無料で始められるバックオフィスAIエージェントと、無料のうちに確かめることにまとめました。
試用に使うバックオフィスAIエージェントの例として、株式会社AutomagicaのカリスマAIがあります。Microsoft Teams、LINE WORKS、Google Chatで使えて、AIが答えられない質問は担当者に届きます。フリープランは月額0円で、AIの回答は月50回までです。