Предметный рейтинг научной продуктивности вузов - 2017

Дмитрий Толмачев, Павел Кузнецов

Четыре года назад в развитии университетов в России произошел очередной крутой поворот: в мае 2013 года был объявлен первый этап конкурса по отбору университетов для участия в программе «5–100». Это амбициозный проект вывода российских университетов на международную арену, по результатам которого пять университетов должны попасть в топ-100 по версии международных рейтингов.

История вузовских списков

Первым современным международным рейтингом вузов стал запущенный Шанхайским университетом Китая в 2003 году «Академический рейтинг университетов мира» (ARWU). Его целью было оценить позиции китайских университетов на международной арене при запуске государственной программы создания университетов мирового уровня.

В 2004 году появился второй международный продукт — Times Higher Education — QS World University Rankings — более коммерчески ориентированный продукт, «необходимый для студентов при выборе, где учиться». Продукт готовился в коллаборации между Times Higher Education: газетой (с 2008 года — журнал), связанной с британской газетой The Times, и Quacquarelli Symonds — британской аналитической компанией, работающей в сфере международного образования.

Два продукта преследовали разные цели и показали разные подходы к оценке позиций университетов. Китайский подход ориентировался на «золотые» научные стандарты. Что можно к ним отнести? Нобелевские премии, Филдсовская премия, статьи в наиболее признаваемых журналах Nature и Science плюс список самых цитируемых ученых (в мире в 2016 году к ним отнесли 3265 человек). Чем больше в университете людей, имеющих такие достижения, тем лучше (для лауреатов премий учитываются также выпускники университета).

Подход Times Higher Education — QS World University Rankings был в большей степени массовым. Основой рейтинга стали опросы представителей академической среды и работодателей для выпускников.

В 2009 году произошло последнее событие, фундаментально изменившее ландшафт международных рейтингов. Коллаборация Times Higher Education и Quacquarelli Symonds закончилась. Последняя продолжила развивать методологию в рамках рейтинга QS World University Rankings (QS), а Times Higher Education при поддержке Thomson Reuters создала новый продукт — Times Higher Education World University Rankings (ТНЕ).

За последние годы на национальном и на международном уровне инициировались новые рейтинги, но лидерами продолжает оставаться первоначальная тройка. В то же время количество и разнообразие рейтингов позволяют предложить их определенную классификацию: это, во-первых, общие рейтинги вузов; во-вторых, предметные рейтинги, и наконец, специфические рейтинги.

Первоначальная тройка, как и многие другие их последователи, являются общими рейтингами: их цель — оценить качество университета как единого целого, с учетом многосторонности его деятельности. Методики таких рейтингов могут отличаться — из-за различных представлений об «идеальном» университете. Например, в одних отражается важность международной деятельности, в других она не играет такой роли, и т. д.

Цель предметных рейтингов — отразить успехи университетов в определенном предметном направлении. Здесь опять лидирующее положение занимают ответвления трех первоначальных рейтингов: QS, THE, ARWU.

Предметные рейтинги вузов

В последние годы особое внимание уделяется предметным рейтингам. Их преимущество в том, что они оценивают деятельность университета в конкретных предметных областях. Для многих университетов это заманчиво — развить существующие компетенции в своей наиболее сильной области и прозвучать на мировом уровне. Внимание российских университетов вновь в большей степени приковано к рейтингам QS и THE. Хотя эти рейтинги демонстрируют противоположные подходы к оценке предметной деятельности университетов.

THE Subject дает минимальную разбивку по предметам — всего восемь. При этом оценка деятельности проводится по тем же 13 показателям, что и общий рейтинг. Основная проблема с таким подходом в том, что многие показатели могут быть собраны исключительно за счет анкетирования самих университетов. Если общее число сотрудников в университете — показатель достаточно прозрачный, то разделение его на несколько предметов — это поле для разночтений и для возможных манипуляций.

QS subject, наоборот, включает более 45 предметов, но оценка производится всего по четырем показателям (для некоторых предметов всего по двум или трем). При этом большая их доля относится к репутационным показателям: более чем в половине предметов (58%) доля репутации формирует до 70% совокупной оценки и выше.

Наконец, последняя группа — это специфические рейтинги, исследующие университеты в узких направлениях: от удовлетворенности выпускников и качества интернет-порталов до качества популяции белок в университетских кампусах и «трезвости» университетов.

Два основных продукта в российской индустрии рейтингов вузов в настоящий момент: рейтинг вузов RAEX («Эксперт РА»), запущенный в 2012 году, и Национальный рейтинг университетов группы «Интерфакc» (с 2009 года).

Оба проекта имеют небольшие ответвления. RAEX также публикует рейтинг репутации вузов по семи предметным направлениям, «Интерфакс» — рейтинг по категориям вузов. Однако основной и главный продукт является примером общих рейтингов, цель которого — всесторонняя оценка российских университетов.

Фокусирование исследования на России дает этим рейтингам ряд преимуществ.

Во-первых, в своей методике они могут учесть российскую специфику.

Во-вторых, могут с большей эффективностью собирать данные (гораздо проще собрать данные в одной стране, чем во всем мире).

В-третьих, российские университеты заполняют одинаковые статистические формы для отчетности, и эти данные можно использовать в рейтинге. Например, оба рейтинга используют балл ЕГЭ при оценке блока по образованию. На международном уровне такой показатель нельзя использовать, так как страны имеют разные подходы к оценке выпускников школ: что русскому «хорошо», то немцу «отлично» (или наоборот).

Больше возможностей для сбора данных заметно по количеству показателей, используемых в рейтингах. Международные рейтинги QS, THE используют до 15 показателей, в то время как российские — 35–40.

Для российских университетов, попавших в проект «5–100», наименее перспективным из трех международных рейтингов можно назвать ARWU. Показатели, которые использует этот рейтинг, очень стабильны. Число высокоцитируемых ученых, лауреатов престижнейших премий — резкого роста в таких показателях за восемь лет не достичь. Однако и в оставшихся двух рейтингах попадание в лидеры требует значительных усилий.

Среди разнообразных вызовов один из наиболее важных — построение международной репутации, которая определяет от трети до половины финальной оценки в рейтингах THE и QS. Примерно треть общего балла в рейтинге RAEX также формируется по опросам академического сообщества, работодателей и студентов. Это позволяет рейтингам сгладить проблемы, которые могут произойти с количественными показателями: если рост последних был искусственным, то он не приведет к улучшению репутации, наоборот, в некоторых случаях он вызовет даже ее падение (если для искусственного роста количественных показателей использовались «неэтичные» методы).

В то же время, несмотря на действительную важность репутации для университетов, такие показатели зачастую критикуются. Вот несколько причин, почему так происходит:

1. Они подтверждают то, что и так известно. Попадание в список известных университетов, в список лучших университетов в рейтинге создает дополнительную известность и цементирует лидирующее положение. В результате поддерживать репутацию намного проще, чем ее создавать.
2. Они создают неопределенность и не дают возможности репликации результатов рейтинга. Это означает, что у университетов нет четкого понимания, что именно позволяет им улучшать репутацию, какие инструменты оказались эффективными, а какие — нет.
3. Распределение репутации крайне неоднородно. Основная доля голосов идет лидерам рейтинга, главным университетам каждой из стран, а все остальные университеты получают голосов на порядок меньше.
4. Это создает двойственную мотивацию в первую очередь для растущих университетов, не лидеров.

С одной стороны, университеты начинают больше смотреть на внешний мир. Это особенно полезно для российских университетов, которые долгое время обращали на него мало внимания. Для продвижения в рейтингах университеты начинают отслеживать контакты сотрудников в академической сфере, стремятся представлять себя и работы своих ученых на мировом рынке идей. Больше внимания начинает уделяться выпускникам, что является ключевым фактором развития репутации среди работодателей.

C другой стороны, продвижение в репутации может приводить к манипуляциям, к работе не над внутренним содержанием университета, не над лучшим представлением вуза во внешней среде, а над привлечением голосов экспертов.

В результате университеты зачастую с определенным недоверием относятся к репутационным рейтингам, отдавая предпочтение библиометрическим показателям.

«Позиции университетов в репутационных рейтингах зависят от личного восприятия экспертом тех или иных критериев оценки и его личного мнения о качестве учебного и научного процесса в вузе, а также от состава респондентов, — считает проректор по программам развития Новосибирского государственного университета Алексей Окунев. — Библиометрические рейтинги, если они рассчитываются с использованием общепринятых в наукометрии показателей, являются наиболее объективными измерителями научной деятельности университетов и поэтому подходят прежде всего для национальных исследовательских и классических российских университетов, где высока научная составляющая в процессе обучения».

Стать частью мировой сети знаний

Задача попасть в топ-100 международных рейтингов — это лишь верхушка айсберга. Самое главное — внутренняя качественная трансформация вуза, позволяющая добиться решения формальной задачи. Среди прочего — переход на модель исследовательского университета.

Исторически российские университеты были в первую очередь направлены на подготовку кадров для экономики и науки, в то время как научная деятельность была сосредоточена в институтах РАН. Но такое разделение не вписывается в международную практику, где университеты исторически совмещали эти функции.

В международных рейтингах публикационная деятельность важна как напрямую — через показатели публикационной активности, так и косвенно — через репутацию.

Российские университеты прошли серьезную трансформацию в сфере публикационной активности, в первую очередь те из них, кто попал в программу «5–100». С 2014 года эффект программы стал заметен и на уровне России. По сравнению с 2012 годом количество российских публикаций в международных базах увеличилось на 63,8%, в то время как общемировой рост составил всего 2,7%. В результате доля российских публикаций в мире в 2016 году достигла 2,6%, что выше доли публикаций в 2012 году примерно на один процентный пункт.

Значительный рост был достигнут в основном благодаря университетам, а не научным институтам. Важным источником этого роста стало развитие коллабораций с научными институтами. Доля совместных публикаций с ними увеличилась с 8% в общем числе российских статей в 2009 году до 10% в 2012-м и 14% в 2016-м.

Интересно отметить, что наибольший рост произошел в сферах, в которых раньше результаты практически не публиковались — в первую очередь в социальных и гуманитарных науках. Бесспорное влияние на это оказал эффект низкой базы. Значительный рост произошел в компьютерных науках. Хотя в этой сфере сказалось и общее стимулирование, дополнительным фактором мог стать эффект «перенаправления» статей. Появление прямой заинтересованности авторов попасть в журналы, индексируемые международными базами, стимулировало большую концентрацию статей в них.

Нечистоплотным — по рукам!

В 2016 году АЦ «Эксперт» запустил собственный продукт оценки научной продуктивности университетов России на базе измерения их международной публикационной активности в различных предметных областях «Рейтинг факультетов».

Отметим, что этот продукт не претендует на всестороннюю оценку факультетов российских университетов. Он не учитывает связи с работодателями, инновационную активность вузов, поэтому выдающиеся в части прикладных разработок вузы, такие как, например, МГТУ им. Н. Э. Баумана, занимают далеко не первые позиции в нашем рейтинге.

Помимо этого наш продукт не учитывает тот факт, что на одну предметную область в вузе могут работать несколько факультетов или институтов. Наконец, рейтинг напрямую не учитывает качество образовательной деятельности. Хотя нужно помнить, что гумбольдтовская модель университета, в которой развивается большинство российских вузов, претендующих на ведущие роли, построена на постулате, согласно которому качественное образование невозможно без качественной науки.

В нынешнем году число предметных областей выросло с 10 до 13, в целом наши рейтинговые оценки получили 88 российских вузов.

Мы считаем публикационную активность, во-первых, объективизируемым, подлежащим точной и проверяемой оценке показателем. Во-вторых, активная научная деятельность, с нашей точки зрения, — это индикатор успехов и в других сферах деятельности вуза: в образовании — возможности участия в современных исследованиях, обучение не только теории, но и реальной практике; в международных связях — современная научная деятельность не может быть осуществлена в «вакууме».

При разработке методики рейтинга все показатели подбирались с учетом возможности масштабирования рейтинга. В результате наша методика универсальна и может быть использована для оценки не только российских университетов. Сейчас рассматривается возможность расчета рейтинга с включением в него институтов РАН, университетов СНГ и Восточной Европы, в перспективе — стран БРИКС.

При разработке рейтинга особое внимание было уделено учету специфики ситуации, в которой оказались российские университеты. Хотя российская университетская среда сформировалась достаточно давно, сейчас из-за произошедшего реформирования, «глобализации» образования российские университеты столкнулись с необходимостью ускоренной трансформации. Аналогичную ситуацию можно выделить во многих национальных системах высшего образования: в странах БРИКС, Юго-Восточной Азии — практически во всех странах, за исключением Европы, США и Канады. В условиях такого значительного вызова университеты неизбежно сталкиваются с «болезнями роста», когда ради достижения формальных показателей теряется сущность научной работы, ее качество. Это может произойти как на уровне отдельных сотрудников или подразделений, так и на уровне университета в целом. Все это способно нанести вред репутации или показателям всего университета.

Спрос со стороны отдельных «ученых», университетов разных стран мира сформировал феномен «хищнического» журнала, цель которого — заработать на публикации статей. Попав в международные базы журналов, такие издания способны заработать на быстрых публикациях, практически не заботясь об их качестве, правдивости научных результатов, рецензировании статей. В некоторых странах, по данным директора Наукометрического центра НИУ ВШЭ Ивана Стерлигова доля публикаций в подобных недобросовестных журналах превышает 15–20% (Малайзия, Индия). Россия по этой доле выглядит достаточно хорошо (7–8% в 2015 году), но пугающим оказывается возрастающий тренд: всего три года назад, в 2012-м, эта доля составляла около 1% — на уровне США и Германии.

Рассматривая это поведение на более широком горизонте, можно заметить, что оно приводит к репутационным потерям университетов по национальному признаку и дискредитирует научную деятельность в целом. В методике рейтинга предусмотрен отдельный блок, призванный хотя бы частично отслеживать подобные неэтичные практики.

Проблема признана и на уровне Министерства образования и науки. Заместитель министра Людмила Огородова пригрозила сократить субсидии вузам программы «5–100» при публикации в журналах, исключенных из международных баз данных, а также при высоком уровне самоцитирования.

Однако решение проблемы — в руках самих университетов. Это подтверждают слова проректора Сибирского федерального университета Максима Румянцева: «Искусственной возгонки показателей не будет, если есть четко сформулированная позиция руководства в отношении “научной кармы” и нарушений “кодекса чести”. На наш взгляд, основная мера — информационная, разъяснительная работа. В Сибирском федеральном университете проходят дни научной информации, на которых мы говорим о том, как правильно выбрать журнал, поднимаем вопросы научной этики и корректного выбора публикационной траектории ученого».

Преемственность и ротация

Как и в прошлом году, большинство университетов (33) попали в рейтинг всего по одному предмету. Сохранение ситуации произошло и с университетами, которые попали во все предметные области, — таковых всего шесть: Дальневосточный федеральный университет, Казанский (Приволжский) федеральный университет, Московский государственный университет им. М. В. Ломоносова, Новосибирский государственный университет, Санкт-Петербургский государственный университет, Уральский федеральный университет.

Во многих предметных областях произошло небольшое снижение числа попавших в рейтинг университетов. Наиболее сильно этот эффект выражен для гуманитарных наук. Причина — значительный рост числа публикаций в России в данной предметной области, что подняло минимальный порог по числу публикаций, который университетам необходимо иметь, чтобы участвовать в рейтинге. В результате часть университетов с минимальным, не растущим числом публикаций выпала из зоны рассмотрения рейтинга.

Изменения методики, появление новых университетов ограничивают возможности для анализа динамики рейтинговых позиций отдельных университетов. Однако, даже несмотря на влияние этих факторов, следует отметить наличие определенной преемственности с результатами прошлого года.

В десяти предметах, которые участвовали в рейтинге прошлого года, первое место в нынешнем году занял тот же университет, что и в прошлом. Среди университетов, входивших в топ-5 в 2016 году (50 вузов), только девять выпали из этой группы. В группе топ-10 ротация более заметна: из 100 университетов, входивших в рейтинг в 2016-м, год спустя остались только 79.

Наиболее важным фактором, повлиявшим на изменение в рейтинге, стал пересмотр методики расчета показателя «концентрация статей».

Изначально данный критерий был введен для оценки ситуаций, когда основной объем публикаций университета в предметной области приходится всего на один-два журнала. Это может быть вызвано сложившимися связями с каким-то научным журналом, например, издаваемым этим же университетом. Но может и являться следствием некорректных действий научных коллективов: бывают случаи, когда основной объем публикаций в предметной области вуза приходится на журнал из списка Билла (библиотекарь Университета штата Колорадо Джеффри Билл собрал список научных журналов открытого доступа, которые берут плату с авторов публикуемых статей, зачастую без надлежащего рецензирования и редактирования). В любом случае мы оцениваем эту ситуацию негативно. Однако если в данной предметной области мало журналов в принципе, публикации в небольшом их числе вполне могут считаться нормой. Для учета подобного рода эффектов критерий расчета концентрации был нами уточнен.

Изменение в расчете показателя «концентрация статей» оказала позитивное влияние на рейтинг по многим предметам. В частности, хороший пример — математика. В прошлом году расчет концентрации статей в журналах показал, что все университеты укладываются в заданные рамки. В результате все получили максимальный балл.

Изменение в расчете позволило выделить университеты, которые публикуются в гораздо большем спектре журналов, и те, что, напротив, публикуются в небольшом числе изданий. В результате максимальный балл сохранился лишь у пяти университетов, имеющих самый широкий спектр публикаций по математике: Московский физико-технический институт МФТИ, Санкт-Петербургский государственный университет, Московский государственный университет им. М. В. Ломоносова, Национальный исследовательский университет «Высшая школа экономики» и Новосибирский государственный университет. Падение по остальным не означает манипуляции, но лишь указывает на более узкий спектр тематики статей.

Наиболее сильным изменением в новом рейтинге по математике стал рост позиций Казанского федерального университета с 23-го места до 10–11-й позиции.

Интересным сравнением является анализ позиций в рейтинге федеральных университетов. В итоговые таблицы вошли восемь из десяти университетов (исключение составили Северо-Кавказский федеральный университет и Крымский федеральный университет).

Среди них явно выделятся тройка университетов, которые участвуют в программе «5–100» с самого начала. Уральский, Казанский и Дальневосточный университеты вошли в рейтинг по всем 13 предметным областям. Несмотря на это, все три вуза имеют свои компетенции в определенных предметных направлениях.

Для Дальневосточного университета это науки о жизни, для Уральского — материаловедение, математика и химические технологии, для Казанского — науки о Земле и жизни, социальные науки.

Большой размер позволяет Сибирскому и Южному федеральным университетам иметь достаточный объем публикаций, чтобы войти в 11 предметных областей из 13. Сибирский выделяется своей позицией в гуманитарных науках и науках о Земле, Южный имеет достаточно ровные позиции во всех предметах, с небольшим выделением в науках о Земле и физике.

Стоит отметить, что помимо трех федеральный университетов, попавших в программу «5–100» в первой волне, еще два университета стали ее участниками с конца 2015 года: Сибирский и Балтийский. Хотя оба университета продемонстрировали значительные темпы роста числа статей (в полтора-два раза за два года), пройдет еще несколько лет, прежде чем влияние программы в полной мере скажется и на них.

Хотя успехи крупных университетов в рейтингах более заметны, предметный подход позволяет выделять интересные примеры узкоспециализированных университетов, добившихся успеха в своей области. Наиболее яркий пример — Российская экономическая школа (РЭШ), один из самых заметных университетских гринфилдов на постсоветском пространстве, занимающий второй год подряд второе место в предметном рейтинге по экономике (после НИУ ВШЭ). По размеру научного коллектива это очень небольшой вуз, сфокусированный на магистерской подготовке и исследованиях, однако этот научный коллектив — ученые мирового уровня, публикующие очень качественные статьи, при этом три четверти публикаций РЭШ выполнены в коллаборации с зарубежными исследователями.

Методика рейтинга

При расчете общего балла университета в рейтинге проводится оценка показателей университета по трем категориям (с равными долями по 33,3%).

1. Качество роста университета.
2. Востребованность научной деятельности.
3. Масштаб, устойчивость научной деятельности.

Категории имеют одинаковый вес при расчете финального результата.

В каждом предметном рейтинге участвуют университеты, на долю которых за последние четыре года пришлось хотя бы 0,5% от общего количества российских научных статей, опубликованных за тот же период.

При расчете учитываются статьи, опубликованные в журналах, которые индексируются международной базой научного цитирования Scopus за последние четыре года. Подрообное описание методики

Мнение сообщества:

Алексей Окунев, проректор по программам развития Новосибирского государственного университета:

— Критерии оценки успешности вузов, которыми руководствуется Министерство образования и науки в проекте «5–100», имеют объективную и субъективную составляющие. Объективная составляющая основана на сравнении достигнутых показателей с принятыми обязательствами. Субъективная составляющая базируется на мнении приглашенных экспертов и членов Совета по международной конкурентоспособности. На последнем совете доля субъективного вклада в общую оценку составляла две трети. На мой взгляд, после прохождения медианы программы доля субъективной составляющей должна уменьшаться за счет увеличения веса объективных показателей, соответствующих задаче вхождения пяти российских вузов в топ-100 глобальных мировых рейтингов университетов.

Защита «дорожных карт» на совете проходит в форме десятиминутного выступления и ответов на вопросы. Особенностью этого года было представление прорывных проектов — комплексных научно-технологических проектов, на финансирование которых предполагалось выделить до трех миллиардов рублей. Хотя представление прорывных проектов уже состоялось, вузы пока не получили на них рецензии. Отсутствие обратной связи — нетипичная для академической среды ситуация. Конечно, хотелось бы видеть большую открытость и публичность в рамках программы повышения международной конкурентоспособности российских университетов.

Виктор Кокшаров, ректор Уральского федерального университета:

— Рост цитируемости и числа хороших публикаций — это следствие правильного выбора научной повестки. Он должен быть подкреплен другими факторами: приглашением ведущих ученых, системой стимулирования, инфраструктурой и так далее, которые важны, но вторичны. Так, исследования протопланетного вещества в дальнем космосе, Солнечной системе и на Земле, которыми занимается один из ведущих коллективов УрФУ, помимо попытки ответа на «вечные» вопросы вроде происхождения жизни дают варианты ответа на актуальнейшую мировую проблему — угрозу из космоса вроде падения «челябинского» метеорита.

Рост цитируемости другой научной группы, возглавляемой одним из ведущих ученых-климатологов Женом Жузелем, также следствие поиска ответа на один из важнейших глобальных вызовов. Группа занимается изучением влияния вероятного потепления на вечную мерзлоту, на которой «стоит» вся инфраструктура российского Севера. Не менее актуальна повестка других крупных научных проектов, на которые делает ставку университет: новые электрохимические источники энергии, сенсоры (основа интернета вещей), применение магнитных материалов для лечения различных форм рака. Именно подобные большие проекты, нацеленные на поиск ответов на важнейшие глобальные вызовы, и дают устойчивые показатели роста научной продуктивности.

Максим Румянцев, проректор по учебной работе Сибирского федерального университета:

— В СФУ активно развиваются междисциплинарные исследования. Недавно мы провели конференцию под названием «Междисциплинарный подход в исследовании связей в истории общества и изменчивости климата». Она объединила специалистов из разных областей, но ядро ее составляют историки, которые занимаются использованием естественнонаучных методов в истории и археологии. Кстати, за прошедший год у них было две публикации в журнале Nature Geo Science.

Другой междисциплинарный компонент — начинающееся в университете движение в сторону растущей сейчас на Западе области Digital Humanities. Эти исследования на стыке гуманитарных наук и информационных технологий в своё время выросли из компьютерной лингвистики и использования численных методов в истории. СФУ стал инициатором создания российской сети Digital Humanities, объединил семнадцать ведущих вузов. Сеть вошла в состав Европейской ассоциации Digital Humanities.