Высокие статистические технологии

Александр Иванович!

Ну, нельзя же так издеваться над народом! Те, кто ввел за 2 млрд. долл. в 1992 г. ЕГЭ свирепствуют, хотя никаких филипповых и прочих уже нет.

Итак, ЕГЭ оценивает лишь рейтинг, а значение имеет лишь ранг: это то, скольких в данном — именно данном — тесте ты превзошел.

Для тех, кто прочитает этот пост: при слабом тесте ты можешь набрать рейтинг 95% и быть лишь с рангом 10%, а в сложном, набрав 20%, будешь с 97% рангом. Это мои личные результаты при тестировании некой английской (правильной) фирмой.

Ну, пожалуйста, выйдите на Сергея Константиновича Комкова, главного нашего борца против ЕГЭ, дайте основы матстатистики в железной форме, которыми нельзя пренебрегать. Не сомневаюсь, он их знает, но почему-то понятие "ранг" нигде не возникает: ведь это сразу убьет всех поклонников ЕГЭ, и Медведева, Дмитрия, в том числе — вы поймите, последний ведь не специалист, он политик, он понятия не имеет во многих областях, включая матстатистику...

Не ясно, что же конкретно объяснять.
К тому же легко сказать:

Для этого надо несколько десятков часов учить матстатистике.
У ЕГЭ есть теория. В частности, распределение рейтингов приводят к стандартной форме (вроде нормального распределения).
Дело не в матстатистике, а в порочности принятой модели. Фактически считают, что знания можно разбить на большое число единиц (дидактических единиц), а правильные ответы по поводу определенного процента этих единиц (и неправильные по поводу остальных) соответствуют определенной оценке.
Так можно проверять знание таблицы умножения. Правда, если некто знает половину таблицы умножения, можно ли ставить ему положительную оценку.
В более сложных случаях знания образуют сложную сеть (граф), есть узловые понятия, которые надо знать обязательно, и менее значимые узлы, знание которых не столь важно. В ЕГЭ эта сложная многоуровневая система знаний не принимается во внимание.

Но ведь никто bootstrapping не отменял: именно метод "подкачки" позволяет установить ранг тестируемого и обойти сложности с расстановкой приоритетов.

Чертить графы просто, и потому они были начальным инструментом. Совершенно правильно, что система опорных точек, или инвариантов, как ее называла Н.Ф.Талызина с психфака МГУ им.М.В.Ломоносова, дает универсальный и однозначный результат оценки знаний. Точно так же, как на смену методу узловых токов по 1-му закону Кирхгофа пришел метод узловых потенциалов по 2-му — это в теории электрических цепей. И то же: ничего рисовать уже не нужно, да и не нарисуешь: знание стало формализованным для постановки его на компьютер.

Метод ранжирования позволяет исключить понятие взаимного рейтинга и опереться на существенную базу данных по предыдущим результатам. Которых в случае ЕГЭ, естественно, нет. Слюнявят палец и определяют направление ветра. А можно — и сложность теста и его отдельных заданий. Есть в Минобре аппарат определения сложности тестов? Не добьешься от них ответа: сами не знают, что это такое, да на заморскую аглицкую контору ссылаются.

Как тут в КП писал космонавт Леонов, скоро в космонавты будут гастарбайтеров нанимать: своих-то нет! А программы военного космоса есть! Позавчера, по-моему, статья вышла. Или на день раньше. Знал бы Николай Егорович, что с его детищем (ВВИА им.Н.Е.Жуковского, 1919) сделают!

Есть масса журналов по рассматриваемой тематике:
«Телекоммуникации и информатизация образования»
«Педагогическая диагностика»
«Вопросы тестирования в образовании»
«Стандарты и мониторинг в образовании»
Напишите статью в любой из таких журналов.
В условиях форума полноценное обсуждение невозможно.

Мне приведенные выше доводы не представлялись специальными (особенными), более того для меня они обычные: естественные, одним словом. На самом деле, в них есть что-либо достойное обсуждения? Они же очевидны. Даже мне, неспециалисту...

Почти 40 лет назад возникла необходимость оценивать знания студентов в английской системе образования. Ее особенность, кроме мер и их единиц типа фунтов (пинт) и дюймов (футов, ярдов и миль), состояла в предикативности: английский и математика оценивались исходя из 100 баллов, остальные предметы — из 50 (речь идет о high school, не higher, высшей школе). Причем студенты O-level (ordinary) и A-level (advanced) должны были иметь сопоставимые сразу в нескольких смыслах оценки: по прогрессу (развитию во времени) и ансамблю (по выборке, группе).

В отсутствие статистических данных задачу оценки пришлось решить через центральные моменты первого и второго порядков: границу между нашими оценками 3 и 4 давал первый из них, а второй (RMS, дисперсия) определял расстояние от нее до границ 2 и 5. Это если кратко.

В результате в каждой группе были и свои двоечники, и отличники. Тесты, данные которых обрабатывались, содержали 10 заданий, которые, увы, на тождественность не анализировались, хотя степень и законченность их выполнения преподавателем оценивалась, чем в некоторой степени компенсировалась их inconsistence за счет того, что выполнение каждого из заданий оценивалось исходя из максимума в 10 баллов.

Чтобы получить ответ, надо сначала сформулировать вопрос. Как формулируется Ваш вопрос?