Рейтинги университетов и факультетов существуют во многих странах. Разумеется, люди бьются за более высокое место в списке. Но всегда важно, как считают. Считают, как известно, не всегда хорошо. О некоторых достоинствах и недостатках новой системы рейтингов в США рассказывает Ирина Делюсина (геологический факультет Калифорнийского университета в Дэвисе, University of California, Davis — UC Davis).
Начну с конца. Все хорошо! Плохие рейтинги — это хорошо. Это способ задуматься над своей жизнью и понять, что в ней неправильно. Или наоборот, что неправильно со всеми остальными, если все правильно с вами. Но хорошие рейтинги все же лучше. Хорошо бы только разобраться, что и как в них учитывается. А это не так-то просто. Вот какая история с рейтингами произошла на нашем факультете.
Долго и успешно наш маленький факультет геологии карабкался наверх в академической иерархии. В прошлом году он получил 17-е место в рейтинге среди программ о Земле по шкале USNWR (U.S. News and World Report) [1], что очень хорошо. Сам Калифорнйский университет в Дэвисе занимает 39-е место, что тоже неплохо. Для сравнения, Беркли — на 22-м месте. Всего в списке примерно 270 университетов (последнее место соответствует рангу 191, а за ним следует несколько десятков школ уже безо всяких рейтингов).
Шкала USNWR широко известна, в ней используется так называемый «Morse code» [2] (не путать с азбукой Морзе). К ней привыкли, и она очень популярна среди абитуриентов, их родителей и работодателей, поскольку рейтинг важен в первую очередь не для гордости сотрудников, а как инструмент выбора места учебы или работы. И вдруг все полетело вверх тормашками.
28 сентября этого года вышел Национальный обзор Ph.D программ (National survey of Ph.D. programs) [3] — список рейтингов докторских программ всех университетов США. Его автор — NRC (The National Research Council) [4], отделение Национальной академии наук (NAS) [5]. Обзор ждали с 1995 г. — по американским меркам, невероятно долго. Свету была явлена новая методика оценки, сложнейшая и, по замыслу разработчиков, точнейшая, призванная не упустить ни единой мелочи.
Согласно этой новой оценке, наша программа оказалась где-то в предпоследней группе внутри самого университета. Хотя в общей американской шкале она все же наверху, занимает 40-е место. Это, конечно, хуже, чем 17-е, но уж точно не полная катастрофа. А вот внутренний рейтинг вызвал справедливый гнев нашего декана, и он обещал с нами разобраться, пока еще, правда, не ясно как. Конечно, такое обстоятельство вызвало прилив печали в сердцах коллег. Стали пытаться понять, что же там такое в этом рейтинге так резко скинуло программу вниз.
Я понимаю, что анализировать успех или неуспех чужих факультетов — дело малопривлекательное, поэтому я предлагаю вам другую задачу. Я предлагаю всем представить себя абитуриентом и попробовать поиграть в увлекательную игру по поиску места-мечты, где вы счастливо проведете следующие шесть лет своей научной жизни, т.е. «будете иметь квалифицированное хорошее время». Ну что, потенциальный абитуриент, протестируем новый рейтинг NRC?
Выбираем программу на сайте [6]. Тут все ясно: если вы физик — выбираете Physical Sciences and Mathematics, если вы врач — выбираете Health Science. Но уже следующий шаг приводит к путанице. Если вы откроете заветную страницу с рейтингами, то никаких рейтингов вы не увидите. Вам предложат для начала выбрать из программ, больших и маленьких, с большим количеством женщин и меньшинств, с низкой платой за обучение и большим количеством студентов, получивших финансирование.
Хмм… Вы бы что выбрали? Мне уже поздновато, но если бы я была юношей, обдумывающим житье, я бы выбрала последний параметр, хотя, конечно, полюбопытствовала бы, что там с женщинами. Если бы я была юной леди, обдумывающей житье, я бы выбрала то же самое. Или я бы сразу дала слабину и пошла смотреть те программы, куда девушек берут охотнее? Но не спешите нажимать на кнопочку.
Ниже вы можете решить, что вам важно и что неважно при выборе вашей мечты, т.е. выстроить свои собственные критерии поиска. Там много полезных опций о финансировании, научном уровне сотрудников, важности GRE (The Graduate Record Exam) при поступлении, но и много всякой ерунды. Поставьте им оценку от нуля до пяти.
На этой же странице вам попытаются объяснить, почему методика теперь включает две параллельные шкалы: overall-S (Survey-Based Quality Ranking, количественная оценка) и overall-R (Regression-Based Quality Ranking, репутационная оценка) и еще три подкатегории: «research activity», «student support and outcomes» and «diversity of the academic environment». Попытатьcя-то попытаются, да не объяснят. Добросовестное описание статистического метода совершенно не отвечает на вопрос: «ну и что?» Чем это отличается от критериев USNWR? Журнал Science [7] от 1 октября по этому поводу ехидно заметил, что благодаря новой методике вы узнаете, что Duke выиграл турнир по баскетболу 2010 года, но не узнаете, каков ранг его программы по химии. «Новая оценка умышленно избегает точного ответа», — пишет Science.
Итак, мы выбрали свои критерии и оказались на долгожданной странице. Красненькие сегменты в бесконечном excel-файле покажут вам худшие результаты, а зелененькие — лучшие. Но внутри сегментов все не так просто. Один зелененький вам даст разброс от 5 до 25. А другой — от 2 до 90. А третий — от 15 до 17. Что мы должны с этим делать?
Разработчики использовали регрессивный анализ для определения удельного веса тех параметров, которые оценивали опрашиваемые сотрудники (faculty member, т.е. те, кто имеет постоянную работу, плюс студенты), разбросали эти параметры по 20 категориям, а потом представили на наше рассмотрение в том виде, в котором, собственно, и начинали — в гауссовском распределении. То есть мы должны сами решить, что наиболее вероятно в той картине, которая нам дана. Только вот само распределение вы не увидите, если не нажмете еще одну кнопочку, уже прямо ведущую на страницу с выбранной вами программой.
Здесь вы видите вот этот разброс, представленный честно. «Ага, — думаем мы, — вот этот параметр упоминался часто, а вот этот — редко». Заодно увидите, что даже при доминирующем рейтинге, скажем 10, найдется много респондентов, которые поставили оценку 5, но есть и такие, которые поставили 125, т.е. самую низшую оценку.
Еще следует учитывать, что даже если вы нашли искомое гауссовское распределение и разбираетесь в нем лучше, чем в простой шкале от 1 до 10, то этот механизм вам явно чего-то не покажет вообще, или покажет то, чего на самом деле нет. Не потому, что статистика дает маху, а потому, что подсчитывали что-то не то. Журнал Science сравнил новый рейтинг с Mr. Potato Head — игрушкой, в которую играют американские дети всех послевоенных поколений. У Мистера Картошки пластмассовая голова, у которой все части перемещаются по вашей детской воле в самые смешные места: ухо на носу, рот на лбу. Но русскоговорящие потенциальные аспиранты не все играли в эту игрушку, так что придумать следует какое-то другое, более интернациональное сравнение для нашего нового рейтинга. Может быть, кубик Рубика?
Вот вам мой «инсайт». Согласно тем критериям, которые я ввела в поиск, наша докторская программа не показала никаких результатов. Вообще никаких. Она попала в серую шкалу: не было ни плохих красных, ни хороших зеленых. То есть если бы я была абитуриентом, я бы проскользнула взглядом по ней, не заметив. Если бы рейтинг был составлен от лучшего к худшему, мы бы куда-то попали. В середину, наверное, что несправедливо, но все же это была бы какая-то оценка. А так — никакой.
Но и это было бы ничего. Согласно этим оценкам, одной из лучших в UC Davis оказалась программа, которая перестала существовать! Именно так, ее больше нет. Она закрыта. Там дорабатывают свои tenure старые профессора, и, когда они все уйдут на пенсию, даже имя ее исчезнет. Причем программа была закрыта примерно пять лет назад по причине ее полной никчемности.
Тут всплывает еще одно интересное обстоятельство. Новый рейтинг включает в себя наблюдения только за годы, предшествующие 2005-2006-му. Наш факультет оказался среди тех, кто по определению пострадал от такой временной дискриминации. Все главные успехи, призы и награды были получены позже 2006 г. Но совет NRC, создававший рейтинг и критикуемый за такой подход, отбивается изо всех сил. Он считает, что выбранный им пятилетний срез нивелирует «шумы».
Но и это не все. Кто были эти люди, отвечавшие на вопросы? На нашем факультете до сих пор не могут найти ответа. Согласно описанной методике, на вопросы отвечали 50 случайных человек. Опрашивали в 2005 г.? Все студенты того времени уже давно улетели. Многие faculty ушли на пенсию. Из оставшихся никто ничего не помнит. Если вы знакомы с учеными, вас это не удивит. Никто не помнит, что заполнял какие-то опросники. Кто поставлял сведения NRC? Почему согласно этой бумаге, у нас 34 сотрудника, хотя у нас их всего 17? То есть просто исправив эту ошибку, мы умножим все наши показатели на 2, исключая «размер программы». Собственно, это и вернет нас примерно на 17-е место.
Ну и последнее замечание. Сами критерии оценки [8] вызвали много вопросов. Кроме четырех первых (количество публикаций, цитируемость, гранты и награды), все остальные уже какие-то сомнительные. Оставим бесконечно надоевшую тему про женщин, но вот это — «Percent non-Asian minority faculty/students»? Что это вообще значит? Уже прямо нельзя сказать Hispanic? Или Native American? Какая стеснительность! И какое это может иметь отношение к успешности программы? И что это значит для того, кто, например, Asian?
Спрашивать коллег об этом неприлично. Они просто не слышат этого вопроса. Я провела свое исследование, я опросила трех человек, что очень много! Ведь это пустая трата времени — болтать на такие дурацкие темы. Особенно если на разговор отпущено три минуты, от семинара до туалета, потом надо бежать доставать образец из печи, а через семь с половиной минут заканчивать рисовать картинку в KaleidaGraph, потому что, если не успеть ее отправить сегодня, завтра соавтор уже не успеет подать заявку.
Коллективное сознательное (трое опрошенных плюс я) пришло к такому выводу: «Ну, мы разберемся с этими ошибками, а вообще — плевать на эти рейтинги, пошли работать, тебе вон статью надо подать до конца недели, печатаемся, публикуемся, и все будет хорошо!» Справедливости ради следует заметить, что NRC принимает жалобы и готово исправлять ошибки!
Какова мораль сей истории? Вы выберете свою докторскую программу скорее всего независимо от того, сколько не-азиатских студентов и сотрудников вы насчитаете на факультете. В Йель вас могут не взять, увы, в Гарвард — тоже. Да и в Стэнфорд не всякого пригласят. Ваш выбор с самого начала будет ограничен предложением. Ну а уж там. В Калифорнии хорошая погода, друзья!
1. http://colleges.usnews.rankingsandre-views.com/best-colleges
2. www.usnews.com/blogs/college-rank-ings-blog/
3. www8.nationalacademies.org/onpinews/newsitem.aspx?RecordID=09282010
4. http://sites.nationalacademies.org/NRC/
6. http://graduate-school.phds.org/
7. www.sciencemag.org/cgi/content/sum-mary/330/6000/18
8. www8.nationalacademies.org/onpinews/newsitem.aspx?RecordID=09282010
Я проходила стажировку в Америке, столкнулась с подобными проблемами. Другой минталитет, другие люди, но все же полезный опыт!
Рейтинг NRC – пустая трата денег. Если человек серьезно собрался в аспирантуру, то уж сможет сам по беглому осмотру сайтов факультетов понять, куда стоит и хватит сил поступить.
А в non-Asian minorities еще входят African-Americans. Кому-то и этот параметр может показаться полезным. В конце концов, если учесть равномерность распределения талантов, то African-Americans составляли бы 10% от faculty. Но это не так. Значит, США теряет таланты из-за социальных проблем. С другой стороны, искусственным набором профессоров с недостаточной квалификацией, но «правильной» расой проблему не решить.