Виктор Горох Благодаря шкалирования мы можем сравнить разные по сложности варианта теста

Участник ВНО самостоятельно вычислит свой результат в тестовых баллах. Но определить его по шкале 100 - 200 он не сможет до обнародования таблицы перевода тестовых баллов в шкальовани
Что такое тестовый балл? Как он конвертируется в оценку (балл) по рейтинговой шкале 100 - 200? Можно ли сравнивать результаты участников тестирования разных лет?

Прокомментировать эти вопросы мы попросили ведущего специалиста отдела научного обеспечения Украинского центра оценивания качества образования Виктора Гороха.

- Ежегодно новых участников тестирования интересует механизм определения его результатов. Впервые в жизни ученики получат оценки по 100-балльной шкале. Не кажется ли Вам, что именно с этим и связаны их опасения?
- Возможно, здесь действительно есть психологическая проблема. Сейчас в школе пользуются 12-балльной шкале оценивания. А родителям будущих абитуриентов, когда они слышат о 100, 124, 200 баллов, вообще становится жутко: в свое время их оценивали только по пяти баллами.

- Как именно определяются результаты внешнего оценивания по 100-балльной шкале?
- Этот процесс состоит из нескольких этапов. Сначала вычисляют тестовый балл каждого участника - сумму баллов, полученных за выполнение заданий теста. Затем тестовый балл конвертируется, то есть по специальной процедуре превращается в шкальований балл - оценку по 100-балльной шкале.
- Каждый участник за выполнение теста получает определенный балл. Можно было бы только за ним отбирать наиболее подготовленных абитуриентов для поступления в ВУЗ? Зачем тестовый балл конвертировать в оценку по 100-балльной шкале?
- Если бы будущих студентов отбирали только по результатам одного теста, то действительно могли бы обойтись только тестовым баллом. Но для вступления обычно используют результаты тестирований по нескольким предметам, поэтому приходится вычислять сумму баллов.
Итак, нужно позаботиться о корректности такой операции, а именно о том, чтобы величины, которые мы добавляем, имели одинаковый смысл для различных предметов. К тому же правила приема предусматривают сертификаты ВНО предыдущих лет.
Характеристики тестов - количество, типы задач, максимально возможный тестовый балл - со временем могут меняться. Понятно, что использование тестового балла ставило бы в неравные условия выпускников, которые выполняли тесты, заключенные в разные годы.

- В чем заключается метод, которым перечисляются тестовые баллы ВНО в оценки по 100-балльной шкале?
- В Украине был избран шкалирования по шкале 100 - 200. По результатам тестирования по определенному предмету мы можем определить тестовый балл каждого участника и таким образом получить распределение тестовых баллов. После этого можно вычислить процентный ранг (процентиль) каждого участника тестирования - это процент участников, тестовые баллы которых не превышают тестовый балл конкретного участника.

Артему тесты
Например, если участник (назовем его Артемом) правильно выполнил все задания теста, а следовательно, набрал максимально возможный балл, то его процентное ранг - то есть процентиль - равна 100% (все остальные участники тестирования получили тестовый балл не выше тестовый балл Артема).
Процентиль Артема может равняться 100% и в том случае, если он не набрал максимально возможный тестовый балл. Такое может быть тогда, когда нет участников тестирования с большим, чем у Артема, тестовым баллом. А если процентиль Артема равна 20%, то это означает, что 80% участников тестирования опередили его. И только 20% получили результат не лучше, чем у Артема.

- Этот процентиль и является оценкой участника тестирования на 100-бальной шкале?
- Процентиль действительно можно было бы использовать как оценку по 100-балльной шкале. Тогда и определили бы тестовый балл, соответствующий определенному процентили, для другой сессии тестирования по определенному предмету.
Мы считаем, что участник первой и участник второй сессий, процентили которых одинаковы, имеют одинаковый уровень знаний по соответствующему предмету. Это так, поскольку распределение участников тестирования по сессиями происходит случайно, а следовательно, выборки лиц, попадающих в различные сессии, является статистически эквивалентными.
Однако для установления эквивалентных оценок удобнее сравнивать распределения тестовых баллов различных сессий не между собой, а с определенным эталонным распределением.
Используя такое распределение, мы можем достаточно просто определить оценки по шкале 100 - 200 для реального распределения тестовых баллов. Соответствующая таблица перевода их в оценки по шкале 100 - 200 ежегодно публикуется на сайте УЦОКО после обработки результатов тестирования.

- Может участник ВНО сразу после сдачи теста определить свой тестовый и шкальований баллы?
- Может посчитать количество набранных тестовых баллов сразу после обнародования правильных ответов. Но, обратите внимание, он определит только свой результат в тестовых баллах. А выяснить свой результат в баллах по шкале 100 - 200 ему не удастся до обнародования таблицы перевода тестовых баллов в шкальовани. Ведь она создается только после того, как работы всех участников по соответствующему предмету, сессии и года тестирования проверены.

- А можно с тестовыми баллами хотя бы примерно предсказать свой шкальований бал?
- Очевидно, что чем больше задач правильно выполнил поступающий, тем вероятнее, что он опередил больше абитуриентов. А значит, его результат по шкале 100 - 200 будет лучшим.
Между тестовыми и шкальованимы баллами есть существенное различие. Размер тестового балла абитуриента зависит только от количества и типа задач, которые он решил. Природа шкальованого балла совсем другое: его величина зависит от того, какое количество участников тестирования (в процентах) опередил определенный абитуриент.

Артему тесты
Представим, что Артем правильно выполнил половину (50%) заданий теста. Может ли он надеяться на достаточно высокий результат? Отнюдь! Ведь он ничего не знает о том, сколько задач выполнили другие абитуриенты.
Теперь представим, что все остальные участники тестирования выполнили более 60% заданий. В таком случае результат Артема будет худшим: все остальные участники тестирования продемонстрировали высокий уровень знаний.
Итак, зная только свой тестовый балл, участник тестирования не может предсказать того, какой у него может быть шкальований балл, ведь он не может знать того, как с тестом справились другие.

Упомяну историю, связанную с определением результатов ВНО 2012 года. На одном из сайтов появилась информация о том, что разработчики сайта за якобы изобретенной уникальной формуле могут определить участнику ВНО по его тестовым баллом шкальований. Сколько же было разочарований в тех, кто использовал эту информацию и получил «уникальный» результат, отнюдь не отвечал результату, определенном после обнародования на официальном сайте УЦОКО таблицы соответствия количества тестовых баллов оценкам по шкале 100 - 200 баллов по определенному предмету!
Итак, я советую участникам ВНО 2013 следить за официальной информацией, будет размещаться на сайте УЦОКО www.testportal.gov.ua, для определения как тестового, так и шкальованого балла.