Стандарт оценки нестандартности, или Как массово протестировать креативность

Александр Поддьяков
Александр Поддьяков

В январской статье «На той стороне Луны, или Как живется школьной олимпиаде по литературе» [1] учитель, председатель Гильдии словесников Сергей Волков написал о встрече с учителями, преподавателями вузов, членами жюри и представителями Министерства образования и науки одного из регионов России: «Мы были поражены безапелляционностью некоторых преподавателей, допущенных к проверке детских работ: они уверены в существовании набора неких единственно возможных филологических истин, за уклонение от которых работы школьников беспощадно режутся. Их не интересует живой поиск смысла они служат мертвой букве догмы».

Сходная проблема обнаруживается при массовом тестировании творческого мышления (креативности). Участнику предлагаются творческие задания с так называемым открытым концом (допускающие неограниченное число разумных оригинальных решений): придумать как можно больше усовершенствований показанной игрушечной пожарной машины, изобрести как можно больше способов необычного использования кирпича и т. п.

Но как оценивать ответы множества участников? При массовой оценке креативности нередко используется следующий прием: разработчики теста на основе либо априорных соображений, либо предварительного исследования на реальной выборке составляют то, что можно назвать «стандартным списком творческих, оригинальных ответов» (originality lists). Если ответ того или иного участника не попадает в эти заранее составленные списки, разработчики идут двумя разными путями.

Первый путь: отходя от предписанного списка, оценивающие внимательно вчитываются в ответ и, если он разумен, ставят этому участнику максимально возможный балл. Идея такова: участник придумал то, что пока никому не приходило в голову — ни ранее протестированным участникам, ни самим разработчикам, — это необходимо оценить максимальным баллом.

Второй путь — прямо противоположный: ответы (творческие, напомним), которые не входят в заранее составленные списки (но не входят же), предписывается оценивать в 0 баллов (незачет). Подтвердим его существование и использование на примере творческого задания PISA (Programme for International Student Assessment, Международной программы по оценке образовательных достижений учащихся). В ней участвуют десятки и сотни тысяч пятнадцатилетних школьников из десятков стран, в том числе из России.

Общий вид MP3-плеера, предлагаемого для обследования школьникам в исследовании PISA-2012
Общий вид MP3-плеера, предлагаемого для обследования школьникам в исследовании PISA-2012

В 2012 году участникам, среди прочих заданий, предлагался для обследования виртуальный MP3-плеер новой модели. По его виртуальным кнопкам можно было кликать мышкой и наблюдать реакции, что позволяло путем логических рассуждений разобраться в принципе его работы и затем выполнить задания на понимание этого принципа. Последнее задание было таково: «Опишите, как можно было бы изменить управление работой MP3-плеера, чтобы можно было обходиться без нижней кнопки v». Как пишут разработчики, это творческое задание, не имеющее единственного правильного ответа, и с ним справилось только 25% школьников.

Это хорошее задание. Проблема в том, что разработчики предусмотрели лишь несколько вариантов ответа, и все эти ответы относятся к одному типу (конкретно, это действия с одной, верхней кнопкой плеера). Другие ответы по инструкции предписано не засчитывать. (Можно открыть оценочный файл PISA [2] и убедиться, что там написано: Full Credit Gives an answer that describes how the MP3 player could still operate with only one arrow button. No Credit Other responses).

Но каковы шансы, что среди десятков тысяч тестируемых не найдется подросток, сумевший изобрести еще один достаточно адекватный способ? А такие способы быстро обнаруживаются, причем даже не один. Это действия с двумя кнопками («мультиклики»), использование возможностей сенсорного экрана, а не только клавиатуры, и др. Почему эти и другие возможные ответы проглядели разработчики — предмет отдельного рассмотрения; гипотезы есть (см. мою статью «Практики тестирования чужого ума» [3]). Важнее другое.

Когда эта ошибка оценивания была выявлена в рамках критики PISA, произошли две вещи. Во-первых, перестал работать в режиме отрытого доступа сайт PISA, где было выставлено, среди прочих, это задание (или перестал работать вообще). Теперь эти задания нельзя непосредственно обследовать и проверять. Как выглядела страница доступа, сейчас можно узнать только с помощью архивирующих веб-машин [4].

Второе изменение: из документов, описывающих задания 2015 года [5], без каких-либо мотивировок и объяснений полностью исчезли слова «креативность» и «креативный», хотя в заданиях 2012 года они были среди основных. Можно думать, что это произошло потому, что разработчики осознали сложность оценивания креативности — особенно проводимой таким образом.

Указанная ошибка представляется не единственной, но PISA не вступает в диалог с внешними исследователями. Проверка и перепроверка результатов разными командами исследователей — часть исследовательской корпоративной культуры проектов «Геном человека», «Большой адронный коллайдер» и других, но, похоже, не проекта PISA.

Например, вы ничего не узнаете от самой PISA об открытом критическом письме группы ученых, в том числе с мировыми именами, которое было переопубликовано в мае 2014 года такими влиятельными изданиями, как The Guardian [6] и Washington Post [7]. В чем причина такого различного отношения к закрытости/открытости — вопрос к теории типов организаций и организационных культур.

Здесь встает как минимум три вопроса.

1. Нужна ли PISA? Да, безусловно. Там много по-настоящему интересных и правильно выстроенных заданий.

2. В какой степени можно доверять рейтингам, построенным по результатам выполнения батареи заданий, если обнаружены ошибки разработчиков в ряде этих заданий? Это вопрос, на который разные люди дают разные ответы.

3. Существуют ли способы изучения творческого мышления? Да, но они значительно сложнее идеи «стандартных списков творческих ответов», так удобных при массовом тестировании. Аналогично известной теореме Кеннета Эрроу о невозможности совершенной избирательной системы необходима, вероятно, теорема о невозможности стандартного массового теста творческого мышления. Приоритет остается за живым поиском смысла.

Александр Поддьяков,
докт. психол. наук, профессор департамента психологии,
вед. науч. сотр. Лаборатории экспериментальной и поведенческой
экономики НИУ ВШЭ

1. https://slovesnik.org/olimpiady/na-toj-storone-luny-ili-kak-zhivetsya-shkolnoj-olimpiade-po-literature.html

2. https://nces.ed.gov/surveys/pisa/pdf/CB-mp3.pdf

3. www.firo.ru/wp-content/uploads/2016/12/Poddjakov.pdf

4. goo.gl/9IZQlP

5. www.oecd.org/pisa/pisaproducts/PISA2015-Released-FT-Cognitive-Items.pdf

6. www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-education-academics

7. www.washingtonpost.com/blogs/answer-sheet/wp/2014/05/13/academics-call-for-pause-in-pisa-tests

Связанные статьи

34 комментария

  1. Много материалов на самые разнообразные темы попало на этот сайт за последнее время из НИУ ВШЭ. Какие-то из них более интересны, а какие-то менее.

    Но самое интересное то, что нет ни одного, даже самого маленького, захудалого текста, посвящённого программе выхода из экономического кризиса.

    Что совершенно непроизвольно навевает абсолютно антинаучные конспирологические мысли…

    1. Да какая там конспирология… Базовые принципы всем понятны, тут никакой глубокой науки не нужно, но если об этом начать говорить — прекрасная жизнь «экспертов» с зарплатами по 200+ т.р. очень быстро кончится, а если подробно говорить, то уже и «двушечка» где-то рядом, а то и что похуже. Оно кому-то надо?!

      Пожалуй, единственное, что вспоминается из приличного и оригинального здесь — работа С.Г. Кордонского по сословной структуре общества. Действительно, социология, а не унылая социография с гаданиями на кофейной гуще в виде выборки из 100 пенсионеров, обернутой в наукообразную «математику».

      По-настоящему исследовать процессы деградации базовых общественных институтов, правдиво показывать динамику показателей качества жизни, исследовать макроэкономические процессы с оценкой эффективности управления госкорпорациями, и т.п. — это опасное и неблагодарное занятие.

      А вот «эксперименты» на запросах в Scopus строить с красивыми графиками и не менее красивыми пояснениями о том, насколько всё прекрасно, ну или просто какую-то ерунду, никому не интересную, а потому, совершенно безобидную, «исследовать» — это запросто, хоть гигабайтами…

      1. «По-настоящему исследовать процессы деградации базовых общественных институтов, правдиво показывать динамику показателей качества жизни, исследовать макроэкономические процессы с оценкой эффективности управления госкорпорациями,…»

        Как это ни смешно, но подобные работы из ВШЭ (разумеется, без практических выводов и потому вполне лояльные) время от времени на просторах интернета изредка попадаются (лень искать ссылки, но, поскольку в этом вопросе я пристрастен, то можно мне чуть-чуть поверить).

        Однако все эти статьи какие-то «случайные» — разрозненные и беглые. Как заметки на полях.

        И потому мне кажется, что фундаментальная причина, как это ни странно, в простом отсутствии интереса к вопросу. Объяснить же такое явление можно системой, используемой для оценки результатов работы.

        Она основана на наукометрии и потому неизбежно опирается на тематику, популярную за рубежом. А там сейчас нет проблемы выхода из кризиса. То есть признаки кризиса есть, но пока они носят «потенциальную» форму, то есть нет острых и всем заметных явлений (скажем, из чудовищных значений P/E на американских биржах и роста цен на дома в Канаде пока ничего особенного не последовало).

        Следовательно, и писать на эту тему невыгодно — хирш расти не будет.

  2. Уважаемые коллеги, прошу прощения за офф-топ и вопрос вне сферы ваших интересов — а какое-нибудь мнение о PISA и массовом оценивании школьников есть? (Хотя понимаю, что не в тему.)

    1. https://www.anekdot.ru/best/story/0512/

      Вместо детали НВ–46–39–00 в нижеследующем тексте следует иметь ввиду деталь XAJ-11003100
      http://www.detali.ru/wi/img.asp?GRAID=01390708201
      ——————————————-
      Знакомый на работу устраивался. Сварщиком. Собеседование в отделе HR (Модно сейчас — «эйчар»). Мастер цеха пришёл и сидят вместе с девочкой–кадровичкой общаются. Мастер спрашивает что варил, разряд и прочие тонкости. Вопросов много задавал, знакомый отвечал и рассказывал. Девочка слушала.

      Побеседовали минут двадцать. Мастер говорит девочке прямо при знакомом: «Ну, специалист, вроде, толковый — прошу оформить к нам».

      Девочка: «Подождите! Надо пройти ещё психологический тест!»

      Мастер: «А что за тест?»

      Девочка: «Ну, психологический! Мы должны понять же, человек подходит нам или нет, как вы не понимаете?»

      Мастер: «Так а что в этом тесте-то?»

      Девочка: «Ну, линии там, круглешочки, картинки показываем человеку, а на основании его ответов составляем картину совместимости, даём руководству ясное представление о работнике, которого принимаем».

      Мастер: «Давай бумажку — я за него нарисую».

      Девочка о…ет слегка, но даёт лист А4 и ручку. Мастер выводит на ней контуры (без анатомических подробностей!) …, протягивает её и спрашивает: «Что я нарисовал?»

      Девочка краснеет, но говорит: «Член».

      Мастер девочке говорит: «Юля! Будь добра, оформи человека без всей этой твоей …, пока я всем не сказал, что ты деталь НВ–46–39–00 из каталога нашего завода с … путаешь». Оформила.

      —————————————————
      Когда (и если) у нас будет нормальная экономика, тогда и будет актуален вопрос об оценивании. И будет понятно, насколько эти тесты нужны (если вообще нужны).

      А сейчас наша страна в первом приближении представляет собой контору по обмену жидкости на срезе скважины на ширпотреб.

      Какой интеллект для этого требуется? Чего тут оценивать?

      И лучше бы народ из ВШЭ вместо тестов занялся бы для начала хотя бы проблемой производства деталей типа XAJ-11003100.

  3. А, понял: вначале — экономика, потом — образование (и его оценивание). Найти то звено… Форму звена тоже понял. Передам предложенный совет коллегам-экономистам (сам-то я психолог, реализовать грамотно не смогу) — авось прислушаются.

    1. 1. Не знаю, входит ли в Ваше ведение диалектика, но образование сможет оказывать обратное влияние на экономику только в том случае, если экономика предоставит ему такую возможность.

      А пока мы имеем ту самую понятую Вами форму вместо содержания.

      2. «…предложенный совет коллегам-экономистам…»

      Не прислушаются, потому что от попыток его реализации хирш не вырастет.

  4. Как человек, закончивший вуз в 1985-м, про соотношение базиса и надстройки я знаю.
    Образование влияет на состояние массового сознания, которое влияет либо на изменения экономики в некотором спектре направлений (негативные не исключаются), либо на ее сохранение по ряду важных для экономических агентов параметров. У разных экономических агентов (стейкхолдеров) свои представления об образовании в той сфере, где они ведут экономическую деятельность, и о целях образования в целом. Отсюда (хотя не только отсюда) достигающие высокого идеологического накала споры о необходимости – вредности разнообразия или наиединственности программ и учебников и прочие интересные вещи в сфере образования.

    Поскольку Вас интересует именно экономическая составляющая, могу сказать, что за включением в PISA и тех заданий, что описаны в статье, стоят в том числе такие спонсоры как мировые лидеры в области информационных технологий Intel, Microsoft, Cisco (Morgan C. Testing students under cognitive capitalism: knowledge production of twenty-first century skills // Journal of Education Policy. 2016. V. 31(6). P. 805-818).

    Можно предположить: с одной стороны, им важно знать возможности будущих пользователей всяких плееров, но также и генераторов идей (креативное задание про это); общий потенциал имеется в виду, а не конкретное решение с плеером.

    С другой стороны, происходящая «пизафикация» образования во многих странах (содержание образования реформируется так, чтобы повысить место страны в мировом рейтинге PISA) влияет на то, что задания этой и других международных оценочных программ становятся ориентирами для разработки соответствующего содержания обучения («обучение под тестирование»). Эта переориентация, вероятно (?), важна для указанных экономических агентов-стейкхолдеров.

    Как пишет один из критиков PISA S.Sjøberg (я стараюсь давать сбалансированный анализ), в аббревиатуре OECD, под эгидой которой проводятся межстрановые сравнения образования PISA, буква E значит «экономика», а вовсе не «education». А сама PISA за счет пизафикации образования навязывает ему – вольно или невольно — ценности рыночной конкуренции, в том числе путем возведенного в ранг высокой ценности рейтингования.

    В общем, PISA – это интересно и для анализа экономического развития. И тесты креативности в этом отношении тоже интересны.

    1. «…Intel, Microsoft, Cisco…им важно знать…Эта переориентация, вероятно (?), важна для указанных экономических агентов-стейкхолдеров.»

      Когда-то была пародия на «Что? Где? Когда?», в которой в качестве приза давали, помнится, книгу
      «Рытье канав и котлованов на Западно-Сибирской равнине в условиях весеннего половодья» с комментарием «В Москве её просто не достать».

      У народа (и у научных сотрудников в частности) в среднем маленькая зарплата. Денег на эксперименты нет. Начальство проводит такую политику, что анализировать её приходится на основе представлений о первобытной культуре и т.д. и т.п.

      Если же Вы посмотрите на материалы данного сайта, поступившие из ВШЭ, скажем, в течение последнего года, то у Вас возникнет образ мукомольного комбината, который во время всеобщего голода говорит о чём угодно, только не о муке.

      Другими словами, во ВШЭ всё хорошо, а «сытый голодного не разумеет».

      Поэтому мы с Вами и говорим о совершенно разных вещах.

    2. Я, как профессиональный педагог, могу сказать, что все эти тесты — даром никому не нужное фуфло. Пока у меня нет возможности отчислять студентов (за отчисления могут сократить), пока моя зарплата составляет 18 000 р. (и никаких доплат, как в ВШЭ, нет), пока само образование совершенно невостребовано (ибо нет промпроизводства) — все это похоже на издевательство. Нет даже возможности не принимать в вуз явных дегенератов — ЕГЭ (купленное) же! А так да, меня самого всякие психологи тестируют, про запоры все спрашивают.
      Вы с народом (учителями и преподами) пообщайтесь про тесты. Но ведь могут и в сытое лицо ударить (нам нечего уже терять, ибо оборванцы).

      1. Именно так. Прорва бездельников и болтунов занимается изобретением велосипеда, когда всё здесь давно изобретено…

        «Массово протестировать креативность» — это где-то рядом «окольцевать популяцию жар-птицы» или «определить средний вес особи чупакабры».

      2. «Но ведь могут и в сытое лицо ударить (нам нечего уже терять, ибо оборванцы).»

        Да еще как…

        https://lenta.ru/articles/2017/05/15/penury/

        —————————————————————————————————-
        Иркутская область Я учитель английского, немецкого, русского и литературы в сельской школе. Зарплата 12 тысяч. Вместе с дочками-подростками хожу убирать богатые коттеджи неподалеку в поселке. Им льстит, что у них уборщица может и ребенку с русским подсказать, и сочинение проверить, и по-английски поговорить. А я боюсь — говорят, школу закроют. И я в 38 лет с красным дипломом буду уборщицей?
        —————————————————————————————————-

          1. Вот бы какой-нибудь столичный эксперт по взвешиванию креативности забрёл как-нибудь на кафедру, например, общей физики, провинциального вуза, рассказал бы им о важности своих исследований, о внедрении форм и тестов для преподавателей, инноваций в педагогике, а после — показал бы им свою зарплатную ведомость…

            Ну а по выходу из травматологии, написал бы проникновенную статью, прочувствованную, так сказать, всеми жабрами души: «Маргинализация и рост агрессии в среде профессорско-преподавательского состава на почве хронической неудовлетворенности материальным положением». Монументальный вышел бы труд :-D

  5. Действительно, зачем в этих условиях людям психологические знания об отношениях в семье, детско-родительских отношениях, об обучении чтению и т.д. (см., скажем, https://www.hse.ru/org/persons/27017842#other ). Это, понятно, отвлекающий маневр ВШЭ (на предмет публикаций из которой Вы специально проверяете сайт?).

    Об устройстве школьных тестов – я уже в этой переписке и упоминать боюсь. Но подготовка к ним (именно к таким) – это вопрос качества жизни детей и их родителей. Регулярные взломы тестовых систем не были бы такими регулярными и востребованными, если бы это было не так. И директора некоторых школ, не знающие, видимо, того, о чем Вы пишете, внимательно фиксируют, какого типа задания могут ждать их подопечных, и предлагают: «А с этого места, подробнее, пожалуйста…» И я тогда показываю картинки типа тех, что в статье, а не звенья определенной формы.

    При этом я, понятно, с профессиональным интересом отношусь к людям, которые спешат ее сразу показать.
    Уверен, что Вы захотите еще что-то повторить на бис.

    Под бисированием я имею в виду не то, что Вы, вероятно, подумали. Вы можете заходить на сайт любого научно-популярного издания и с небольшими вариациями повторять реплики того же характера, что и здесь. Усовестившиеся редакции прекратят, наконец, свою деятельность так, как они ее понимаю, от этого сразу станет много пользы.

    Чтобы было проще — вот еще серия интервью со многими богатеями http://www.skoltech.ru/mathwalks

    1. «Вы можете заходить на сайт любого научно-популярного издания и с небольшими вариациями повторять реплики того же характера, что и здесь.»

      Проделайте опыт — найдите на этом сайте научно-популярную статью про экономику.

      Когда найдёте — продолжим разговор.

  6. Господин Ash, ваши аргументы мне кажутся неубедительными. Если на науку сейчас не дают достаточно денег, это не значит, что наука и умные люди стране не нужны. Это всего лишь говорит о том, что в элите скопилось слишком много «детей кухарок», которые распределяют финансовые потоки в соответствии со своими представлениями о структуре общества. Но по большому счету любой здравомыслящий человек понимает, что интеллектуальная элита нам нужна. Поэтому совершенствование инструментов, направленных на выявления способной молодежи, это актуальная задача. А основной посыл статьи, насколько я понял, именно в этом.

    1. 1. «…в элите скопилось слишком много «детей кухарок»…»

      Исходный текст, который Вы имеете ввиду, гласит:

      «Мы не утописты. Мы знаем, что любой чернорабочий и любая кухарка не способны сейчас вступить в управление государством.. Но мы […] требуем немедленного разрыва с тем предрассудком, будто управлять государством, нести будничную, ежедневную работу управления в состоянии только богатые или из богатых семей взятые чиновники. Мы требуем, чтобы обучение делу государственного управления велось сознательными рабочими и солдатами и чтобы начато было оно немедленно, т. е. к обучению этому немедленно начали привлекать всех трудящихся, всю бедноту».

      http://www.bibliotekar.ru/encSlov/10/6.htm

      2. «…которые распределяют финансовые потоки в соответствии со своими представлениями о структуре общества.»

      Такого вообще не бывает. Тот, кто реально распределяет деньги в масштабах страны, всегда и всюду исходит не из каких-то там «представлений», а из правильно (или неправильно) понятых интересов тех, от которых зависит существование распределяющего.

      3. «…совершенствование инструментов, направленных на выявления способной молодежи, это актуальная задача.»

      А с этим я и не спорю. И, если бы на авторе не стояла марка ВШЭ, то и комментариев никаких писать бы не стал — мало ли кто чем занимается.

      Но пока ВШЭ сама себя не переименует в «Академию Всего-На-Свете», полное отсутствие материалов по экономике от их лица при наличии самых разнообразных текстов про всё остальное будет выглядеть по меньшей мере странно.

  7. Ash, почему экономисты из ВШЭ не публикуются в ТрВ, я не знаю. Но тут какая-то несогласованность в аргументации. В другом месте Вы вообще пишете: «Проделайте опыт — найдите на этом сайте научно-популярную статью про экономику». Это ВШЭ что ли запретило всем экономистам страны здесь публиковаться? (Поддерживающая гипотеза в рамках заявленных Вами «конспирологических мыслей»?)

    Вводим вот такую ссылку и смотрим (следуя Вашему примеру) данные за год:
    https://www.google.ru/search?q=%D0%B2%D1%88%D1%8D+%D0%BA%D1%80%D0%B8%D0%B7%D0%B8%D1%81&newwindow=1&noj=1&tbs=qdr:y&ei=3iUbWZS1A-KE6QTQ566gBA&start=20&sa=N&biw=1025&bih=453

    Или по персоналиям: http://polit.ru/lector/gontmaher/
    Или по документам: https://dcenter.hse.ru/data/2016/09/15/1123504237/Social_monitoring_2015_q3.pdf

    Я не экономист, но нашел быстро.

    1. «Это ВШЭ что ли запретило всем экономистам страны здесь публиковаться?»

      Вы удивитесь, но сами не пишут. Редакция-то не против.

      Хотя на этом сайте в основном присутствуют люди с естественнонаучным образованием, но и гуманитарии встречаются. Налицо огромная проблема — эти люди относятся к экономике в подавляющем большинстве исключительно как обыватели.

      Экономисты, опять же в подавляющем большинстве, имеют сугубо гуманитарное мышление, что исключительно пагубно сказывается на результатах их работы.

      Эти две аудитории могли бы сообщить друг другу массу полезных вещей. Но они почему-то практически не пересекаются.

      Вот Вам, как профессиональному психологу, актуальнейшая проблема — какая нечистая сила мешает взаимодействию этих двух групп?

      И если для её решения действительно потребуются виртуальные граммофоны — честь им и слава.

      А пока — …

  8. Денис, детский тест на понимание текста: о чем статья?

    Денис пишет: «Прорва бездельников и болтунов занимается изобретением велосипеда, когда всё здесь давно изобретено… «Массово протестировать креативность» — это где-то рядом «окольцевать популяцию жар-птицы» или «определить средний вес особи чупакабры».

    Сюрприз для Дениса — вот как раз абсурдность массового, стандартного тестирования креативности (но при этом реализованная) и составляет основной сюжет статьи.

    В журнале для подростков «Кот Шрёдингера» я написал понятно для этого
    возраста. Сама идея стандартного массового тестирования креативности —
    нонсенс, оксюморон. Дети, когда Вас подобным образом тестируют, есть в
    этом что-то неправильное.

    Денис, когда Вы прочтете, станет понятно и Вам, какая мысль проводилась в тексте
    http://kot.sh/statya/551/paradoks-testa-tvorcheskogo-myshleniya.

    Статья – против идиотизма в тестах. Это легко определить, если вначале, до того, как постить комментарии и вестись на инициирующие посты оф-топ, ее прочитать. Можно даже не всю, а первый абзац.

    Желание помахать руками часто связано с плохим умением читать.

    Пока же меня не увезли в травму с подачи Дениса («Ну а по выходу из травматологии, написал бы проникновенную статью, прочувствованную, так сказать, всеми жабрами души»), уйду от болезненной во всех отношениях темы тестов в офлайн – хочу до реализации Денисовых мечт успеть написать продолжение вот этого https://www.nkj.ru/archive/articles/30869/. Там вообще неадекват реальности будет — про шахматы (готовлю носилки).

  9. Тусовка иронично прореагировала на тему тестирования способностей.
    Потому как не «оборванцы», а Победители! … в отрицательном отборе.
    С ними нужно обсуждать проблемы реформирования РАН.
    Статья здесь — тест.
    Автору спасибо, интересно повернулось.

      1. Не согласен. Речь о мышлении. Рассуждения при нечетких или неосознанных критериях нередки и в естественных науках. В психологии это проявилось наиболее выпукло, поскольку в тесте креативности испытуемые оказались креативнее испытателей. Разработчики стандартов забыли о «стандартах». А ведь есть очень простые: если измеряешь температуру, не забудь поставить градусник.

        1. Ivan, ну примитив же явный, оскорбляющий интеллект…

          Проблема эта давно известна, классика жанра из педагогики — «Пушкин думал не об этом, когда писал те строки!», из психологии — некоторые старые и «самодельные» тесты IQ, задание вставить пропущенное число или продолжить последовательность, иногда возможно несколько вариантов ответа, а в проверочной таблице только один.

          Про PISA и само понятие «креативность» — к счастью, или к сожалению, у России нет исключительного патента на дураков, и в мире их хватает помимо наших…

          1. Примитив — Да. Но ставки высоки, когда повторяется с регулярностью метронома.
            И не только/столько в педагогике, психологии и России.
            Оценивать PISA не возьмусь ибо не знаком, а разбираться — времени нет.
            Замечу только, что между «к счастью» и «к сожалению» как раз лежит отсутствие критерия.
            И здесь не всё гладко, ведь в «дураки» попадают и «не как все», которые не обязательно плохи (то есть наша национальная легенда).
            Поэтому автор статьи с выводом: «Приоритет остается за живым поиском смысла» — мудр.
            Осмеивать его поспешили.
            На том и порешим.

            1. Автор написал самоочевидную банальность, задание про плеер — пример обычной бытовой глупости составителя, такое бывает. Ничего оригинального или интересного автор не сказал, но и высмеивать особо, вроде бы, не за что. Набросились, вероятно, из-за общего предубеждения к ВШЭ.

              1. «…вероятно, из-за общего предубеждения к ВШЭ.»

                Слова «вероятно» и «предубеждение» совершенно излишни.

                Сейчас ВШЭ объективно играет роль идеологического учреждения вроде Института марксизма-ленинизма при Брежневе.

        1. Если Вы попросите разных людей вставить слова в известное упражнение для школьников младших классов:

          «(Какая?) (кто?) завела нас в (какой?) лес»

          то получите совершенно разные результаты.

          Просто зубы у всех заточены в различные стороны.

  10. Существует теорема Гёделя «о неполноте»: Любая система аксиом не полна или противоречива». Уважаемые спецы, даже не понимают абсурдности своих поисков.

    1. По тому, кто вспоминает Геделя всуе, плачет Vergasungswagen. Не любая система аксиом, а любая система аксиом, содержащая аксиоматику натурального ряда (в частности, аксиомы индукции). Например, исчисление предикатов — непротиворечиво и полно.

  11. «Нужна ли PISA? Да, безусловно..»
    Контроль остаточных знаний с помощью тестов противоречит концепции управления качеством — TQM (Total Quality Management), и это удаляет нас от общеевропейских процессов интеграции в сфере высшего образования…
    А это значит, что дипломы, полученные в ВУЗАх, где практикуется эта система, автоматически не будут признаны за границей.
    *
    Постепенно вся Европа тоже приняла такое решение, а в США, хоть единое тестирование и проводится, оно не является основанием для поступления в вуз, а лишь составной частью портфолио абитуриента. К тому же в Штатах тесты направлены на определение способности к обучению, к логическому мышлению, это ни в коем случае не проверка школьных знаний, полученных за несколько лет.
    *
    Тем не менее, даже эта /ущемленная/ система внесла свою лепту в /дебилизацию/ неселения специалистов США. Вот что пишет С. Савельев, д-р биолог наук. Специалист по мозгу.
    Американцы убили своими тестами (IQ) своих гениев и им пришлось покупать их за границей, прежде всего, у нас. Процентов до 80% их достижений, это наши заслуги и заслуги еще советского образования. Это полностью является (психологической) фальсификацией способностей человека.
    *
    Они это хорошо осознают и поэтому Обама выделил четыре миллиарда долларов на свертывание системы ЕГЭ. Правда, это у них не получилось.

Добавить комментарий для Михаил Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *