【SWテストへのこわだり：初めてTOEIC協会の本部に行ってきました⑦】

（→前回の続き）

今回のイベントで、TOEIC協会の中の人たちと話して感じたこと。それは、

①TOEICは、「英語コミュニケーション能力を測るテスト」として進化を重ねていること。

②一方で、TOEICに対する批判（TOEIC高得点でも話せない人が多いなど）の打開策を考えている。

ということです。

打開策として一番大きいのは、SWテストの存在です。

SWテストは、スピーキングとライティングのテストで、英文を自分で作り出す能力を測るテストです。

「SWテストの点数が高いのに、英語がぜんぜん話せない」という現象は、まず起こらないと思います。

ただ、SWテストは現状では受験者数が少ないです。

LRテストと比べると、圧倒的に少ないデータを、セミナー内で見せてもらいました。

受験料も１万円を超えているので、なおさら申し込みハードルが高いでしょう。

でも実は、この１万円でも採算が取れていないそうです。

これは懇親会の中で聞いたのですが、会場の利用料、試験会場の監督者の人件費、採点の人件費を合わせると、赤字だそうです。

その赤字を、LRテストの売上で補填しているそうです。

だから、これ以上価格を下げるわけにはかいないと言っていました。

かといって、これ以上価格を上げれば、今度は受験者数が減る可能性が高いでしょう。

なかなかバランスがムズカしいところです。

赤字なのに続ける理由

ビジネス的に赤字なのに、なぜ不採算部門のSWテストを長年続けているのか？

それは、TOEIC協会の理念を実現できる手段が、SWテストだからです。

「英語のコミュニケーション能力を測るテスト」

として創られたTOEICテストだからこそ、「自分の意見を伝える力」に直結するスピーキングとライティングのスキルを測るテストに力を注いでいるのです。

ちなみに、一番お金がかかっているのが、採点をする時の人件費だそうです。

SWテストは、AIではなく人が採点しています。

これは、僕が今回知った中で最も衝撃を受けた部分です。

AIに採点させる仕組みを作れば、初期投資の後には費用をグッと抑えることができます。

でも、TOEICは「対人のコミュニケーション力を測るテストの採点は、人であるべきだ」という理念のもと、SWテストの採点を人が行っているそうです。

しかも、1人の人が採点するのではなく、複数の人達が採点することで、公平性を保っています。

めちゃくちゃ複雑な採点システム

僕が今回学んだことをまとめると、

①最初に1層目の採点者が、SWテストの回答を採点します。このときに、判定に偏りが出ないように、各パートごとに違う人が採点するそうです。
もし、1人の人がすべてのパートを採点すると、このような偏りが出る可能性があります。
↓↓↓

「受験者がパート１で上手に話せていたけど、パート２ではあまり流ちょうではなかった場合、採点者はパート１の印象を引きずったまま、パート２の採点に入ってしまう。すると、純粋にパート２の評価だけを付けることができない。」

という理論です。

そのため、各パートは完全に独立した採点ができるように、違う人が採点するのです。

何層にもなっている採点作業

1層目の採点者が点数を付けた後、その回答はさらにその上の階層の採点者に回されます。

１層目よりも経験値が多い採点者たちが、１層目の採点結果が妥当かどうかをチェックするそうです。

次に、またその上の層の採点者に回されて・・・という感じで、何層かに分かれている採点者の段階を経て、最終の点数が決まるそうです。

しかも、上の層の人達の意見だけが強く反映されないように、うまく採点システムがコントロールさているとのことでした。（詳しいシステム説明の部分は、僕には理解できませんでしたが）

そうすることで、生身の人間の耳で「コミュニケーション力の高さ」を判定できるようになるのです。

コミュニケーションに支障がないミスはカウントされない

さらに、スピーキングの場合は中身にフォーカスすると細かい文法項目でミスすることがあります。

この時、AIが判定すると１つの文法ミスとしてカウントされます。

でも、生身の人間が採点することで、「このミスは、コミュニケーションを取る上で支障がない」と判断された場合、ミスとしてカウントされないそうです。

それこそが、リアルなコミュニケーションと言えるでしょう。

僕自身も、毎日オンライン英会話レッスンでネイティブ相手に話していて、細かい文法ミスをすることはよくあります。

自分の言い間違いに気づいて言い直すと、「大丈夫！分かるから言い直さなくてもいいよ！」とネイティブの先生に言われることがよくあります。

特に僕の場合は、仲の良い先生たちに「中身が伝わらない重大なミスだけ直して」と事前に伝えてあるので、そういうフィードバックがあるのです。

こういったフィードバックが、ＳＷテストの点数に反映されるということです。

僕はこれを聞いて、ＳＷテストに対する好奇心がムクムクと湧き上がってくるのを感じました。

 

・・・つづく。

—————————————