セミナーアンケートの質問例|理解・次の疑問・相談希望を混ぜずに聞く

三つの色の見出しタブで質問用途を分けた紙のアンケート用紙

こんにちは。バナナデスクです。

「8人が送ったアンケートだから、どの質問も8で割る」と進めると、未回答の人まで評価に入れてしまいます。私は最初に、案内した人数、送信した人数、その質問へ答えた人数を分けます。平均値を出す前に、誰の答えを数えているか確かめるためです。

今回は「サービス案内文の対応範囲を整理する30分セミナー」を例にします。質問と回答はすべて架空の見本です。参加者10人から、送信した8人、最初の質問(Q1)へ数値で答えた7人の順に人数を追い、最後に三人の疑問に合わせた次回の改訂メモを一つ作ります。実際の参加者の満足度や、相談・契約へ進んだ実績を示すものではありません。

改善に使う質問と、連絡希望を分ける

「満足しました」が多くても、それだけでは次に直す説明を選べません。本人が自分の理解を振り返って答える自己評価、説明を聞いても残った疑問、相談の案内を受け取りたいかという希望では、答えの用途が違うからです。「説明は分かったが、自分の案内文でどう書くか迷う」という答えなら、説明全体を作り直すより、当てはめ方の例を追加する案が考えられます。

Pew Research Centerの質問設計の解説は、一つの質問へ複数の概念を詰めず、選択肢を明確にする重要性を示しています。たとえば「内容は分かりやすく、実践的で、相談したいですか」では、説明の分かりやすさ、役立ちそうか、相談希望のどれに答えたのかを区別できません。私はこの見本を、目的の異なる五問に分けます。

理解の自己評価が高い人だけを「見込みの高い人」と自動判定したり、感想を送った全員へ営業連絡したりする設計にはしません。相談の案内を受け取る希望は、別の質問で確認します。

割合を計算するときに、基準とする全体の人数を分母と呼びます。案内した全員なのか、その質問に答えた人なのかで、割合が表す意味も変わります。質問の用途と分母を、先にそろえておきましょう。

理解の自己評価、残った疑問、相談案内希望を3方向に分ける図
相談希望を理解度の代わりにせず、質問ごとに分母を明記する。

そのまま検討に使える5問の例

以下のQ1〜Q5は、五つの質問の番号です。実際にアンケートを作る場合は、何のために聞くか、任意であること、連絡先の使い道を最初に伝えます。自由記述とは、候補を選ぶ代わりに、回答者が自分の言葉で書く形式です。この見本ではQ4に使います。

冒頭の案内例:本日の説明を改善するための任意アンケートです。回答しなくても不利益はありません。個人や顧客を特定できる情報は書かないでください。相談に関する連絡を希望する場合だけ、最後の項目で希望内容と連絡先をお知らせください。感想の公開やメルマガ登録を兼ねるものではありません。

質問文 回答形式・扱い
Q1. 本日説明した「含む作業・対象外・変更時の対応」の分け方を、どの程度理解できましたか。 5:自分の言葉で説明できる/4:見本を見ながら説明できる/3:一部は説明できる/2:ほとんど説明できない/1:説明できない/判断できない。任意
Q2. もう少し説明が必要だと感じた項目を、一つ選んでください。 含む作業/対象外/変更時の対応/特になし/判断できない。任意
Q3. ご自身の案内文に、今回の整理を試す予定はありますか。 1週間以内に試す/時期は未定だが試したい/今は試す予定がない/まだ判断できない。任意
Q4. ご自身の案内文へ当てはめる時、残っている疑問があれば教えてください。 自由記述。任意。顧客名や契約文の貼り付けは不要
Q5. 今回のテーマについて、個別相談の案内を受け取ることを希望しますか。 希望する/希望しない/まだ決めていない。任意。「希望する」の場合だけ連絡先を任意入力。今回の相談案内のみに使う

Q1は、説明の分け方をどの程度理解したと思うかという自己評価です。知識テストで能力を測った結果ではありません。理解を客観的に確かめたい場合は、別に短い分類問題などを用意し、自己評価とは別欄で集計します。Q3の「試す予定」も、実際に試したという結果とは分けて読みます。

Q5で希望があっても、連絡先がなければ連絡できません。「希望した人数」と「連絡可能な人数」は別です。後の架空表に載せるのは希望の選択であり、連絡先の有無ではありません。この表から、実際に連絡できる人数は出せません。

フォーム、つまり回答を入力して送る画面を作る際は、連絡先の扱いと利用目的を表示します。Q5は今回の相談案内を受け取る任意の希望です。広告配信やメルマガへの同意が既にあるとは扱わず、感想の公開を兼ねるものにもしません。この記事では、実際の送信試験や連絡先の収集は行っていません。

架空の回答8件を読む

参加者10人全員に回答を案内し、8人が送信したと仮定します。一人一回答で、スタッフは含みません。A〜Hは、架空の回答を見分けるためのID、つまり識別用の記号です。次の順番で人数を確かめます。

  1. 案内した人は10人。この人数は、回答を送った割合を計算するときの基準です。
  2. 送信した人はA〜Hの8人。残る2人は未送信です。この2人の評価や、送らなかった理由は分かりません。
  3. Q1へ数値で答えた人はA〜Gの7人。Hは送信した8人に含まれますが、Q1は未回答です。先ほどの未送信2人とは別に扱います。
架空のセミナー参加者10人を10個の丸で示し、うち8人がアンケートを送信、2人が未送信。送信した8人の内訳としてQ1の数値回答7人と未回答のH1人を示す集合図。送信率80%とQ1の4・5の割合4/7は分母が異なる。
架空のセミナーでは、参加者10人のうち8人がアンケートを送信したため、送信率は8÷10=80%です。ただし8人全員がQ1へ数値で回答したわけではなく、Hは未回答でした。Q1で4または5を選んだ割合は、数値回答した7人を分母にして4÷7=約57.1%です。送信率を全問回答率や満足度と読み替えないようにします。
ID Q1 Q2:不足 Q3:予定 Q4:残った疑問 Q5
A 4 変更時の対応 1週間以内 料金が変わる時の書き方 希望する
B 4 対象外 時期未定 断る印象を弱めたい 希望しない
C 3 変更時の対応 時期未定 追加と修正の分け方 まだ決めていない
D 5 特になし 1週間以内 特になし 希望しない
E 2 含む作業 まだ判断できない 作業をどこまで細かく書くか 希望する
F 4 変更時の対応 時期未定 相談して決める部分の例が欲しい 希望しない
G 3 対象外 今は予定なし 自分の商品に対象外が必要か 希望しない
H 未回答 判断できない まだ判断できない 途中参加のため全体を見られなかった 未回答

HはQ1を空欄にし、Q4には「途中参加のため全体を見られなかった」と書いています。この事情を残します。未回答を0に置き換えると、質問にはない点数を勝手に加えることになります。途中参加だったことを消して、「理解できなかった人」と分類することもできません。

Q1の平均や4・5の割合には、数値を選んだA〜Gだけを使います。Hの回答全体を捨てるのではなく、Q1は未回答、Q4には途中参加の記述あり、と質問ごとに記録してください。

架空回答者HのQ1未回答と、数値の0点が等しくないことを不等号で示す図。途中参加の条件を残し、Q1は数値回答した7人を分母として集計する。
架空回答者Hは、途中参加で全体を見られなかったと記述し、Q1には回答していません。この未回答を0点に置き換えたり、Hを理解できなかった人と決めつけたりしません。Q1の平均や4・5の割合は、数値回答した7人で計算し、途中参加の条件は別に残します。

集計は質問ごとに分母を変える

まずQ1の数値を、表のAからGまで書き出します。4+4+3+5+2+4+3=25です。平均は、この合計25を数値回答した7人で割って、25÷7≒3.57になります。送信した8人や、案内した10人で割る計算にはしません。

次に、Q1で4または5を選んだ人を数えます。A・B・D・Fの4人なので、数値回答7人に対する割合は4÷7×100≒57.1%です。これは七人の自己評価をまとめた値で、参加者全員が理解できた割合ではありません。

Q5では、希望する・希望しない・まだ決めていないのいずれかを選んだA〜Gの7人を数えます。希望するを選んだのはA・Eの2人なので、選択回答7人に対する割合は2÷7×100≒28.6%です。HはQ5も未回答です。Q1とQ5はこの例では同じ七人が対象ですが、何を回答した人数なのかはそれぞれ明記します。

指標 計算 読み取れる範囲
回答送信率 8人/案内した10人=80% フォームを送った割合。全問回答率ではない
Q1の4または5の割合 A・B・D・Fの4人/数値回答7人=約57.1% 有効回答者の自己評価。全参加者の理解達成率ではない
Q1の平均値 合計25/7人=約3.57 この5段階への回答の要約。少数なので個別回答も見る
Q5の相談案内希望 A・Eの2人/選択回答7人=約28.6% 今回の案内を希望した割合。申込・契約とは違う

相談案内を希望した2人を、全送信者8人に対して示すなら、2÷8×100=25%です。「Q5に選択回答した7人のうち2人」と「送信した8人のうち2人」は、どちらも分母を明記して示せます。ただし、比較の途中で基準を変えないようにします。

この見本では満足度も契約の有無も質問していないため、「満足度57.1%、成約率28.6%」とは呼べません。Q1は理解の自己評価、Q5は相談案内の希望です。平均3.57も、この五段階の答えを要約した数値にとどまります。人数が少ないので、私は集計値と一緒に各人の答えも読みます。

数字を次回の説明へつなぐ

次回に直す箇所を一つ選ぶため、Q2とQ4を同じIDで照らし合わせます。Q2で「変更時の対応」を選んだのはA・C・Fの3人です。ただし、三人が知りたいことまで同じとは限りません。

  • A:「料金が変わる時の書き方」。料金変更をどのように伝えるかが疑問です。
  • C:「追加と修正の分け方」。同じ原稿を直す依頼でも、どこで作業の扱いが変わるかが疑問です。
  • F:「相談して決める部分の例が欲しい」。何を決めずに残し、何を相談するのかを具体例で見たいという疑問です。
架空のアンケートで変更時の対応を選んだA、C、Fの3人が料金変更、追加と修正、相談して決める範囲という異なる疑問を挙げたことから、次回の原稿変更の説明を三つのケースに分ける案を示す図。
架空の回答では、Q2で「変更時の対応」を選んだA・C・Fの3人にも、料金変更、追加と修正の違い、相談して決める部分という別々の疑問がありました。次回は一つの原稿変更を三つのケースに分けて説明する案が考えられます。ただし、これが参加者全員の最大課題だったり、改訂の効果が確認できたりしたわけではありません。

私は、この三つを一つの教材追加にまとめます。以下は次回用の改訂メモの案です。新しい料金額や実際のサービス条件を確定するものではなく、合意した作業範囲に照らして説明するための文案例を作ります。

次回の改訂メモ(案):「変更時の対応」の説明に、「案内文の説明を直したい」という同じ依頼を使った三つのケースを追加する。Cの疑問に合わせて修正と追加を比べ、Aの疑問に合わせて料金が変わるときの書き方を示し、Fの疑問に合わせて相談して決める部分を残す。今回直すのは、この説明一か所とする。

  1. ケース1:同じ説明の表現を直したい。Cに向けて、当初決めた作業範囲と照らし合わせる場面を見せます。説明文の案は「直したい箇所と希望する表現を確認し、最初に決めた作業範囲に含まれる変更かを確かめます」です。料金の有無は、実際の合意内容に合わせて別に確認します。
  2. ケース2:説明を新たに付け足したい。Cには修正との違い、Aには料金変更時に示す項目を見せます。説明文の案は「当初の範囲に含まれない説明の追加は、必要な作業を確認します。料金が変わる場合は、変更内容と金額を事前に示し、確認してから進めます」です。具体的な金額は、この例では設定しません。
  3. ケース3:何をどこまで直すか、まだ決められない。Fに向けて、相談で決める内容を見せます。説明文の案は「希望する仕上がりと変更箇所を先に相談し、対応する範囲、費用、納期を確認してから、進め方を決めます」です。未確定の部分を、対応できると断定しない例にします。

原稿を直せたかの確認:追加した一つの説明を読み、Cの「追加と修正」、Aの「料金が変わる時」、Fの「相談して決める部分」が、それぞれどのケースで扱われているかを確認します。三つとも対応が分かれば、今回の改訂案は完成です。理解や申込が改善したかどうかは、このメモを作っただけでは分かりません。

三人が挙げたからといって、参加者全員の最大の課題だったとは決めません。Q2で対象外を選んだBとGの疑問も、別に残します。Bの「断る印象を弱めたい」は表現の工夫、Gの「自分の商品に対象外が必要か」は扱う必要性の説明に関わります。同じ「対象外」でも、次の修正候補として分けて記録します。

次回と比べるときは、質問文と選択肢を保ち、参加者が事前に知っていたことや途中参加の扱いも記録します。問いを変えたのに平均値だけ比べると、説明が良くなったのか、聞き方が変わったのかを区別できません。まずは、人数の範囲を確かめ、誰の疑問に対してどの説明を変えるかまで、一つのメモに残してください。