【問題の難易度が変わっても、結果の点数が変わらない仕組み：初めてTOEIC協会の本部に行ってきました⑤】

（→前回の続き）

もう１つ、今回のイベントで面白かったのが、TOEICテストを作っているETSという組織のNoris博士のお話を直接聞けたことです。

TOEICテストは、

・日本にあるTOEIC協会が企画

・アメリカにあるテスト開発機関のETSが問題を製作

という、チークワークで作られています。

つまり、実際に問題を作っているのは、アメリカのETSなのです。

そのETSの日本支部責任者のNoris博士が、僕たちの目の前でプレゼンし、質問に何でも答えます！という、太っ腹なイベントでした。（プレゼンも質疑応答も、すべて英語で行われました）

複雑な計算式を駆使して決められる点数

TOEICの点数の決め方は、単純に「全200問中、○○問正解したら○○点
」みたいに決められているわけではありません。

もっとずっと複雑な計算式で成り立っています。

そのことは知っていたのですが、具体的な計算方法などを直接ETSの人から聞けるというのは、心が躍りました。

ただ、僕は数学が大の苦手です。

中学時代は、数学テストで０点を取ったことが何回かあります。

社会人１年目で鉄工場で旋盤（回転する金属素材に、固い刃物を当てて、削って部品を作る技術）の仕事をしていた時には、NC旋盤（コンピューター制御）のプログラミングのために、関数電卓を買いましたが、結局ほとんど使いこなせませんでした。

そのため、Noris博士の話の内容の理解度は低かったです。

聞き馴染みのない英単語が多いのはもちろん、内容的に日本語で聞いても理解できないでしょう。

Noris博士は、計算式を生き生きした表情で話していました。

僕とは真逆の性格と強みを持ったタイプだと思われます。

（以前ご紹介した、強み発見テストのウェルスダイナミクスでは、僕と対局に位置する「ロード」だと思われます）

そこで僕は、一字一句聞き取ることや、詳細を理解することを諦め、ざっくりしたアイデアを取ることに専念しました。

そこで学んだこと＆感じたことをシェアします。

TOEICの問題が変わっても、点数が一定に保たれる理由

もしあなたがTOEICテストを何度か受けたことがあったら共感してもらえると思いますが、テストの難易度は回によってけっこう変わります。

でも、本番での体感と、実際の点数はだいぶ違います。

「今回の問題は、全然理解できなかった・・・もうダメだ・・・」

と思ったら、結果は意外に良かったり。

「今回はだいぶできたぞ！よし！過去最高点数が出るに違いない！」

と思ったら、結果が前回とまったく変わらずヘコんだり。

そんな経験を、僕自身も何度もしてきました。

TOEICでは、問題の難易度は変わっても、受験者の英語力が変わらない限り、点数がブレないようにコントロールされています。

その仕組みが今までよく分かりませんでしたが、今回のNoris博士の話でよく分かりました。

点数が変わらない仕組み

今回学んだのは、

①偏差値性

②アンカー問題

という2点です。

まず、TOEICは偏差値性をベースにしています。

もし問題が難しかった場合、みんな全体的に正解率が下がります。

すると、自分の集団の中での位置関係は変わらないので、点数も変わらない、という仕組みです。

TOEICは年間約200万人が受験するテストです。

母集団の数が圧倒的に多いので、偏差値性の強みを活かせます。

ただ、偏差値性でも完全な公平性は保てるとは限りません。

たとえば、時期的に「大学生の受験生が多い月」の回の場合、全体的に初受験者の数が多くなるため、母集団の点数が全体的に下がる可能性もゼロではありません。

さらに、強いトーイッカー（ＴＯＥＩＣを受けまくっている人の呼び名）が多数参加する回があった場合、全体の正解率は上がるので、母集団のレベルが上がるかもしれません。

そういった不確定要素を極限まで減らすために、ＴＯＥＩＣには毎回「アンカー問題」というものが仕込まれているそうです。

アンカー問題とは、過去に出した問題の中から、「データ上この点数の人たちは皆正解できた問題」」のことです。

たとえば、「過去に600点を取った人たちが、ほぼ全員正解できたアンカー問題」を仕込んでおきます。

もし、あなたが受けた回のテストの母集団の中にトーイッカー比率が高くて皆の正解率が上がった場合は、当然、偏差値であなたは不利になります。

そこで、採点側はあなたの「アンカー問題」の正解率を分析します。

もし、受験者全体のレベルが高くて、偏差値の中だけで言うと500点台だったとしても、あなたが「過去に600点を取った人たちが、ほぼ全員正解できたアンカー問題」を正解できた場合、あなたの結果は600点になるのです。

こういったアンカー問題は、もちろん１つではありません。

点数レンジ別に、いくつも仕込まれているそうです。

偏差値性＋アンカー問題

この２つを組み合わせて、公平性を担保できる採点制度を使っているとのことでした。

僕はこれを聞いた時に、「マジかーーー！なんて緻密な計算をしているんだ！」と叫びたくなってしまいました。

こういう複雑な計算があるからこそ、TOEICの結果の票が届くまでには１ヶ月近くかかるのです。

さら、この後もっと驚く話が、Noris博士の口から出てきました。

 

・・・つづく。

—————————————