AIではなく、人が聞き採点する

ーーたしかに英語と言っても、さまざまな土地でローカライズされています。

永井：インドやシンガポールでの「英語」がそれぞれ違うように、個性豊かな言語です。だからこそ、言葉に慣れていかないとなかなかADJUST（アジャスト／差異を調整すること）が難しいですね。

日本人が気にする、話すときの「たどたどしさ」は決して悪いことではありません。ネイティブスピーカーでない以上、完璧に英語を喋れなくてもいいと私は思っています。

ーーしかし、スピーキングテストでは違いませんか？

永井：もうひとつ、誤解を解くことができそうです。

TOEIC Programはノン・ネイティブ（非英語話者）の英語力を測定するテストなので「間違いを恐れず、堂々と自分の言葉で伝えよう」というコンセプトがあります。

スピーキングテストでは、たどたどしくても、何度言い直しても、言いたいことを相手に伝えられていれば、評価されます。

そのために、スピーキングテストは「人間」が「聞いて」採点します。AIの採点では、文法や発音が正しいか、ポーズ（休止）が頻繁に繰り返されないかなどを判定することになります。もちろん英語の正しさをチェックするためには有益です。

一方で、TOEIC Speakingは、英語の正しさに加えて、きちんと意思を伝えられているか、相手や場面に応じて話せているか、説得力や一貫性がある言葉を組み立てているかなど「コミュニケーションをきちんと取れているか」を評価するために人が採点しています。


TOEIC S＆W 受験の様子

ーー人間が聞いているんですね……！

永井：くわしくお伝えすると、TOEIC S＆Wでは1人の受験者に対して平均して8人で採点しています。採点は設問ごとに行われており、前後の問題で受験者がどのように解答しているか他の採点者にわからないなど、独自の仕組みがあります。

これは、先入観や偏見などによる不適切な採点を防ぐために行っています。また、受験者の国籍などの情報は一切知り得ません。

つまり、1人の採点者が受験者のすべての回答を採点すると、はじめの方に聞いた回答の印象が後の採点に影響してしまう可能性があります。例として、最初の回答の採点で「流ちょうな英語を話しているな」という印象を持った場合、後の採点が甘くなってしまうリスクもありますので、そうした影響がでないようにしています。

さらに、採点者数名に1人のスコアリングリーダーがつき、採点に差異が出ていないかをきちんと管理して調整します。加えてそのリーダーの上位にもチーフスコアリングリーダー、ETSアセスメントスペシャリストというポジションがあり、採点の品質を管理しています。

ーーなぜ、そこまでリソースを割いて徹底しているのでしょうか。

永井：TOEIC Programを開発するETSが「テストのスコアが受験者の人生を左右する」ことを理解し、”Test for decision making, High-Stakes purpose”というコンセプトを大切にしているからです。

就職、昇進・昇格、企業の英語力診断や教育機関でのグレード・クラス分けの指針として、グローバルにスコアが扱われている以上、信頼性を担保するために重要なことです。

ーー‟英語で話したい”と思う人なら、TOEIC S＆Wが会話力を高めるきっかけになりそうですね。

永井：ぜひそうなってほしいですね。英語学習を成功に導くツールとして活用していただきたいと願っています。語学力は目で見えません。まず自分の「現在地」を知って、目標を定める。目標に向かって計画がうまく進んでいるかをスコアとして知っていただきたいですね。