Рейтинг публикационной активности российских университетов - 2023
Вузовским исследованиям - фундаментальную оценку
В условиях санкционных ограничений университетам нужна новая модель измерения уровня научно-исследовательской деятельности
В течение восьми лет Аналитический центр «Эксперт АЦ» отслеживает изменения в системе высшего образования, запущенные федеральными программами. Сначала, напомним, это был проект «5-100», который внес ощутимый вклад в развитие российской науки. Со стартом проекта «Приоритет-2030» в университетской среде начался новый этап трансформации.
Линейка рейтингов АЦ «Эксперт» охватывает три направления - это публикационная активность вузов через призму наукометрического анализа, готовность университетов генерировать инновации в виде изобретений (патентов) и способность вузов воспитывать в стенах технологических предпринимателей.
Результаты восьмой волны исследования публикационной активности были представлены на круглом столе «Исследовательская активность российских университетов: итоги рейтингов 2022 года и перспективы развития».
Качественный рост на фоне количественного снижения
Геополитические факторы сформировали специфичный набор вызовов, связанных с развитием научно-исследовательской деятельности. Санкционные ограничения в отношении России отразились на сфере образования, науки в целом и на публикационной активности российских университетов в том числе. Вузы столкнулись с недоступностью зарубежных журналов для публикаций, а также снижением уровня научных коллабораций и разрывами устойчивых деловых связей.
Об этом говорят выводы, полученные нами в ходе исследования. Число ежегодных публикаций университетов-участников программы «5-100» в научной среде заметно снизилось (см. график 1). Начиная с 2020 года наблюдалось их снижение в пределах 1% в год. Однако за период 2021 – 2022 годов ситуация кардинально изменилась и отбросила показатели публикационной активности университетов до уровней 2015 – 2016 годов. Общее снижение числа публикаций на 12-13% в год стало новой нормой для научного сообщества. Чтобы переломить этот тренд нужны новые инструменты развития университетской науки в условиях действующих ограничений.
Вместе с тем, наши расчёты указывают на рост качества статей. Впервые с 2013 года, то есть после запуска проекта «5-100» качественные журнальные статьи и обзоры занимают более 77% от общего объема статей. Российские научные статьи на протяжении последних пяти лет стабильно занимают 0,7% в группе самых цитируемых публикацией мира. Это так называемый «топ 1%» (1% наиболее цитируемых статей в Scopus за год публикации). При этом в группе «топ 5% и «топ 10%» в 2022 году доля российских публикаций выросла на 0,3 и 0,1 п. п. соответственно.
Наибольший рост с 2018 года российские ученые показывают в трех предметных областях — «Возобновляемая энергетика», «Искусственный интеллект» и «Медицина» (см. график 2). Темпы роста российских публикаций в этих сферах намного превышает средние темпы роста публикационной активности в мире. При этом в таких сферах, как «Топливо», «Энергетика» и «Биоматериалы» российская наука несколько уступает международному сообществу (в среднем на 30-50 п. п.).
Кроме того, наши расчёты выявили предметные области с отрицательной динамикой публикационной активности со стороны российских авторов. Это - «Экономика», «Менеджмент», «Физика», «Инженерные науки» и «Материаловедение». Эта тенденция наблюдалась на протяжении последних нескольких редакций рейтинга, и падение продолжается.
В поисках объективности
Чтобы отследить все текущие изменения наиболее объективно, мы несколько раз в ходе восьми волн пересматривали методику рейтинга и редактировали ее в соответствии с меняющимися стимулами у университетов. В текущей редакции рейтинга также были внесены качественные изменения в способы замеров показателей. Это позволило более полно раскрыть научный потенциал малых профильных университетов, а также предотвратить искажение достижений вузов-участников в сфере «Превосходства» (см. методика).
Всего в рейтинг научной продуктивности 2023 года включено более 150 университетов со всей России.
Так, одним из важных изменений в методике 2023 года стало исключение из рассмотрения показателя «Представленность в подобластях Q1» в блоке «Превосходство». Этот показатель отображал степень освоения университетами спектра подобластей исследований внутри предметных рейтингов. Статьи, опубликованные в высокоцитируемых научных журналах, зачастую охватывают несколько таких подобластей. Постепенно это стало причиной быстрого роста показателя представленности и искажения имеющихся достижений вузов. Так, нулевым порогом представленности могло стать значение, превышающее 50% от спектра подобластей, что в действительности не является посредственным достижением (к примеру, нижним порогом могло оказаться значение 12 из 15 подобластей).
Второе значимое изменение в методике касается показателя концентрации публикаций в журналах. Речь идет о вузах, число статей которых не превышало 150% от порогового значения вхождения в малую предметную область (пороговое значение не превышает 100 статей). В основу корректировок легла гипотеза о том, что малые вузы с небольшими научными коллективами публикуются в значительно меньшем количестве журналов. Изменение позволило малым вузам, таким, как РЭШ, конкурировать в рейтинге с крупными университетами.
Усовершенствована также содержательная часть рейтинга. В текущей редакции в качестве эксперимента был проанализирован показатель заинтересованности научного сообщества в исследовании определенных тематических кластеров. В России в числе лидирующих сфер выделяются образование, биологические материалы, астрономия и астрофизика. На основе проведенного анализа в рамках рейтинга были добавлены новые срезы по материаловедению («Биоматериалы») и физике («Астрономия и астрофизика»). Также в рамках эксперимента аудитории представляется срез по Общественным наукам в области «Археологии», интересный своим региональным разнообразием.
Показательна разница в величине данных новых областей публикационной активности. Срез по астрономии состоит всего из 19 университетов, преодолевших пороговое значение и закрепившихся в этой области, и, вероятно, в ближайшие годы будет расширяться крайне медленно. Срез по биоматериалам намного динамичнее и позволит проследить развитие российских вузов в этой области в течение последующих лет. В частности, мы обратили внимание на появление новых участников и общее повышение показателей, что характерно для быстроразвивающихся научных областей. Срез по археологии вывел на лидирующие позиции
Где возможна смена лидеров
По результатам рейтинга 2023 года впервые с момента запуска проекта число университетов-участников всех 17 предметных рейтингов выросло до 6. Среди них - как представители Москвы и Санкт-Петербурга (ВШЭ, МГУ, РУДН, СПбГУ), так и региональные вузы (КФУ и УрФУ). Также стоит отметить НГУ, представленный в 16 рейтингах, за исключением «Менеджмента», что является весомым достижением.
Позитивную динамику демонстрирует «Сколтех», совершивший скачок в «Материаловедении» (с 6 до 2-4 места), «Математике» (с 8-9 до 1 места) и «Науках о жизни» (с 10-12 до 4 места). Этот вуз представлен в 12 из 17 предметных областях и почти во всех тематических срезах (исключение составляет «Сельское хозяйство»).
В свою очередь лидеры рейтинга зачастую теряют преимущество в темпе роста публикационной активности и удерживаются на позициях за счет уже представленных ранее достижений. Среди вузов, представленных в топ-10 хотя бы одного рейтинга, в текущем году на фоне крупных федеральных вузов выделяются своим ростом «Иннополис» («Компьютерные науки» и «Искусственный интеллект»), РЭШ («Экономика»), Северо-Западный ГМУ («Медицина»).
Предметные области «Физика», «Медицина», «Науки о Земле» и «Химические технологии» с момента выхода первой редакции рейтинга достигли максимальных публикационных масштабов: позиции университетов-участников давно известны и практически не меняются на протяжении последних трех лет, за исключением незначительных сдвигов.
В то же время в рейтинге присутствуют динамичные области, в которых ежегодно появляются новые участники и меняются фавориты. Так, в 2023 году лидеры прошлогоднего рейтинга «Наук о жизни» передали свои позиции ИТМО и Сколтеху, в «Экономике» - «Финуниверситет» поднялся с 9 – 11 мест на 2-е, а «Социальные науки» продемонстрировали общий рост показателей всех вузов, в особенности продвинулись СПбПУ, УрФУ и КФУ.
Новые срезы по «Астрономии», «Археологии» и «Биоматериалам» привлекли наше внимание своим региональным разнообразием: в рейтинги вошли университеты из Казани, Томска, Екатеринбурга, Челябинска, Новосибирска, Самары, Нижнего Новгорода, Белгорода, Калининграда и Владивостока. Если в лидерах среза по «Астрономии» представлены неоспоримые лидеры «Физики» (СПбГУ, МГУ и МФТИ), то в «Биоматериалах» первенство отошло к медицинскому университету им. Сеченова, МИСиС и Томскому политеху с небольшим отрывом от РУДН.
Географический публикационный разворот
При этом на фоне геополитической напряжённости российские ученые все чаще сталкиваются с отказами международных журналов в сотрудничестве. Это заставляет менять географические приоритеты. В настоящий момент внимание ученого сообщества приковано к восточным партнерам и странам, открытым для сотрудничества. Так, по результатам анализа российских публикаций в Q1 за 2019-2022 годы подтверждена гипотеза о географическом переносе исследований: наши расчёты указывают на значительное укрепление связей с Китаем в областях «Инженерных наук», «Энергетики» и всех ее срезов, «Компьютерных наук» и «Биоматериалах». Правда, многие области по-прежнему зависимы от коллабораций с США, Германией и другими странами Европы, однако все чаще среди партнеров оказываются Индия, Пакистан и Турция.
В срезе предметных областей в международной коллаборации также замечены сдвиги (график 3). Снизилась доля недружественных статей в сфере «Менеджмента» и «Медицины». В сторону дружественных стран также переориентировались коллаборации в таких предметных областях, как «Искусственный интеллект, «Физика» и «Экология». Однако некоторые области остаются уязвимыми для разрыва международных партнерств: «Медицина» (только 24% аффилиаций относятся к российским партнерствам), «Искусственный интеллект» (39%) и «Астрономия» (16%). В свою очередь, почти 70% статей Q1 в «Гуманитарных науках», несмотря на былое плотное сотрудничество с США, написано исключительно в российской аффилиации, что укрепляет для отечественной науки внутренние связи – национальные.
Российские статьи в Q1 имеют более 7000 связей между национальными академическими учреждениями, и это даже без учета влияния Российской академии наук (РАН). Флагманами развития, безусловно, остаются участники проекта «5-100» во главе с лидирующими вузами России. Каждый федеральный университет помимо сотрудничества с крупнейшими вузами порождает собственный региональный кластер малых университетов. Так, в ходе анализа национальных коллабораций были выявлены интересные цепочки коллабораций: РУДН активно сотрудничает с РЭУ и КФУ, МФТИ с НГУ и представителями РАН (среди них ИФВД РАН и ПИЯФ), питерские вузы организуют партнёрства с ДВФУ, а МГУ и МФТИ зачастую поддерживают связи с такими обособленными университетами, как «Сириус».
Среди университетов-участников рейтинга в среднем уровень национальных коллабораций вырос на 4,4 п. п. по сравнению с предыдущим годом (см. график 4). В 2022 году мы впервые оценили взаимосвязь числа статей университетов в Q1 с долей исключительно российских аффилиаций, что позволило прийти к выводу – чем больше высокоуровневых статей публикует вуз, тем чаще он обращается к международным партнерам для совместной работы. И напротив, региональные вузы зачастую предпочитают национальных партнеров – структуры РАН, более развитые российские вузы и вузы внутри субъекта. Мы провели сравнение ситуации в 2022 году и 2023: за редкими исключениями российские вузы медленно, но верно переориентируются на национальные коллаборации. Выдающиеся рывки в вопросе национального партнерства продемонстрировали КФУ (46% статей Q1 в исключительно российских коллаборациях), РУДН (31%), СФУ (41%) и МГТУ (70%).
Университеты просят рейтингов
По нашему мнению, университетам предстоит перестроить многие внутренние процессы, в том числе организацию научной деятельности для обеспечения технологического суверенитета страны. Вероятно, должны измениться и внешние оценки достижений в этой области. Поэтому в текущем году помимо традиционного анализа позиций российских вузов в различных предметных областях мы направили вектор дискуссии круглого стола на рассмотрение перспектив международного сотрудничества, актуальности рейтингов и построения новой модели измерений уровня развития науки в вузах.
Как показало обсуждение, сообщество находится в интенсивном поиске решений, но общей позиции пока не сформировано.
Ряд экспертов считает неактуальным концентрацию на публикационной активности университетов. Но такой подход считает в корне неверным вице-президент НИУ «Высшая школа экономики» Ирина Карелина: «Измерение уровня публикационной активности необходимо, поскольку это дает внешний контур оценки фундаментальной науки.»
«От рейтинга публикационной активности ни в коем случае отказываться не следует, — соглашается ректор Новосибирского государственного технического университета Анатолий Батаев.
— Но при этом я бы обратил внимание не только на научные публикации, но и иные аспекты характеристики научной деятельность. Среди них, в том числе финансовые результаты, востребованность государством».
По мнению профессора кафедры менеджмента Новосибирского государственного университета Светланы Донецкой, рейтинг АЦ «Эксперт» позволяет внутри России расставить места среди университетов и поддерживать уровень конкуренции. «Другое дело, что необходимо пользоваться этими результатами не только самим университетам, но и Министерству образования и науки», - полагает она.
По словам Ирины Карелиной, сообществу сейчас нужны рейтинги, которые дают объективную картину состояния сектора без экспертных суждений: «Мне, например, такая оценка нужна, когда я размышляю над моделями развития своего университета. Чаще всего ответы я нахожу не в общих рейтингах, а в исследованиях с конкретной фокусировкой. В этом случае я получаю точную характеристику и главное — возможности сравнения. Ценность линейки рейтингов, которые делает аналитический центр «Эксперт», как раз в этом».
Заместитель проректора по стратегии и работе с органами власти Финансового университета при правительстве РФ Алексей Оборский находит еще один аргумент сохранения оценок публикационной активности: «Мы сегодня являемся свидетелями множества изменений и, конечно, есть соблазн внести коррективы в систему рейтингования. Но, на мой взгляд, нужно учитывать тот факт, что система образования достаточно инертна. Поэтому прекращать работу совершенно точно не стоит».
Заведующий лабораторией наукометрии Уральского федерального университета Марк Акоев отмечает фокусировку рейтинга АЦ «Эксперт» на аналитике по узким направлениям специализации: «Такую задачу невозможно решить, например, обработав данные объемов НИОКР или результатов интеллектуальной деятельности. Публикации достаточно стабильны. Есть воспроизводимый источник информации, который позволяет оценить узкие направления».
Очевидно, что масштабные внешние процессы трансформации требуют изменения моделей оценки вклада вузовской науки в развитие экономики. При этом настроений отказываться от измерения этих достижений в целом в сообществе нет. По мнению Ирины Карелиной, наоборот, сейчас рейтинги приобретают особую ценность: «Мне кажется, что рейтингов должно быть много. Поэтому стоит идти не по пути внесения изменения в действующие, а создавать новые. Это даст возможность посмотреть на развитие научной составляющей университета с разных ракурсов».
Светлана Донецкая приводит еще один довод в пользу расширения линейки рейтингов: «Если мы пойдем по пути внесения изменения в действующие рейтинги, мы потеряем инструмент для сравнения с прошлым».
«В случае расширения линейки рейтингов у каждого университета появится дополнительная возможность для выявления своих сильных и слабых сторон в исследовательской деятельности», — отмечает преимущества предложенного подхода директор Центра мониторинга и рейтинговых исследований Национального исследовательского ядерного университета «МИФИ» Сергей Киреев.
Оформить линейку рейтингов Сергей Киреев предложил так: «Исследовательская активность российских университетов. Публикации»; «Исследовательская активность российских университетов. Патенты»; «Исследовательская активность российских университетов. Инновации».
С этой идеей соглашается большинство участников дискуссии. Однако взгляды на конструкцию построения системы рейтингования расходятся.
Директор Центра рейтинговых исследований Университета ИТМО Илья Куфтырёв полагает, что научный потенциал вуза недостаточно оценивать только через публикации: «Сейчас в системе образования, в экономике, в обществе в целом происходят кардинальные изменения, и их следует учитывать. Нужны новые критерии, но они должны быть прозрачны и верифицируемы».
По мнению Ильи Куфтырёва, новые подходы нужны и в оценке количества патентов: «Это отнюдь не тот критерий, который позволяет однозначно сделать вывод об уровне развития науки в университете. Патенты, наверное, важны только с точки зрения выстраивания взаимодействия с индустриальными партнерами. Они позволяют оценить соотношение уровня технологической готовности с методологической частью».
Илья Куфтырёв предлагает сообществу подумать над созданием системы взаимосвязи между научной продуктивностью и образовательными программами: «К примеру, в нашем университете много публикаций по направлению «Инженерия в нефтяной промышленности». Потому что по формальному признаку (согласно кодам научных направлений, которые присваиваются научным журналам) многие публикации идут в зачёт именно в этой отрасли, хотя непосредственно «нефтянки» в наших образовательных программах нет. Поэтому здесь, возможно, стоит достроить параллели между научной продуктивностью и образовательными программами. Это, в свою очередь, повысило бы привлекательность рейтингов для абитуриентов».
«Чтобы оценить уровень развития науки в университете, опираться только на один рейтинг недостаточно», — соглашается с необходимостью многообразия проректор по науке и инновациям Национального исследовательского технологического университета «МИСиС» Михаил Филонов. — «При этом нужно еще и не забывать о своем месте на международном рынке. Да, сейчас международные базы закрыты, но у всех есть международные коллаборации, и, если нужно, мы можем обратиться к своим коллегам из-за рубежа и получить определенный информационный срез».
«Ведущие российские университеты уже сегодня вносят существенный вклад в обеспечение технологического суверенитета России, создавая новые технологии, превосходящие мировой уровень. Но эту работу необходимо развивать. Для этого полезно иметь возможность сравнивать свои научные достижения не только в рамках национального научно-образовательного пространства, но и на глобальном уровне»— добавляет Сергей Киреев.
«Нужны показательные точки, которые характеризуют динамику российских вузов относительно среднемирового уровня», —соглашается проректор по научной работе Московского физико-технического института Виталий Баган. Он поддерживает предложение о создании сводного рейтинга: «Нам нужен комплексный рейтинг инноваций в вузах России. Да, у нас уже есть линейка для оценки наукометрии, но нужно двигаться дальше. Мне кажется, есть очень много сейчас объективных факторов для перехода от публикаций к оценке исследовательской деятельности на уровне НИОКР».
По мнению Виталия Багана, необходимо сохранить достижения в части объективности рейтинга публикационной активности и найти элементы его развития: «Для этого необходимо сократить разрыв между патентами и наукометрией. Потому что между этими уровнями есть разработки, которые достойны оценки на российском ландшафте».
По мнению Михаила Филонова, пересматривать подходы к организации научной деятельности университеты заставляет общий вектор постановки государственных задач: «Мы сейчас переквалифицируемся на более высокие уровни TRl (Technology Readiness Level, технологическая готовность. Эксперт). Это государственная задача, все ведущие университеты этим занимаются. В программе «Приоритет-2030» тоже прорабатываются изменения методологий, которые будут направлены на учет реальной продукции в объеме НИОКР, в объеме выигранных грантов».
Ставка на национальное партнерство
– Новосибирский государственный университет был активным и успешным участником международных коллабораций. В частности, университет участвовал в 19-ти коллаборациях по физике элементарных частиц и в 5-ти в области генетических технологий. К сожалению, не по нашей вине наши зарубежные партнеры свели к минимуму наши партнерские взаимодействия. Это же касается публикаций в топовых международных журналах. Публикации с участием только российских авторов, как правило, не доходят до стадии рецензирования. Редакторы этих журналов советуют отправить публикацию в другой журнал, более соответствующий профилю статьи. После 4 – 5 подобных советов отпадает всякое желание заниматься работой над публикацией в международном журнале. Конечно, независимо от внешнеполитических обстоятельств, НГУ делает ставку на несколько направлений поддержки публикационной активности. Во-первых, это национальные коллаборации с российскими коллективами. Во-вторых, мы развиваем собственные научные исследования в тех областях, где наши позиции наиболее сильны. Это компьютерные науки, искусственный интеллект, математическое моделирование, космология и астрофизика, биотехнологии и биомедицина, социальные и гуманитарные науки и ряд других предметных областей. На публикационную активность российских университетов оказывают негативное влияние также и некоторые методологические новации. Так, несколько лет назад был введен фракционный счет публикаций (метод учета научных статей, написанных в соавторстве, при котором доли статьи распределяются между соавторами или организациями, в которых работают авторы статьи, или группами организаций, «Эксперт»). Это привело к сокращению числа междисциплинарных публикаций между Институтами Сибирского отделения РАН и НГУ. Это является отрицательным фактором для нашего университета, поскольку не менее 90% профессорско-преподавательского состава в НГУ на естественно-научных факультетах являются совместителями, активно работающими в Институтах СО РАН. |
Сегодня университетам необходимо развивать национальные коллаборации с российскими коллективами и собственные научные исследования, считает ректор Новосибирского государственного университета (НГУ) Михаил Федорук
Придется формировать свою базу данных
При построении новой модели оценки публикационной активности неизбежно встанет вопрос источников данных в связи с закрытием доступа России к международным базам в системе высшего образования.
— «Скоро мы столкнёмся с отсутствием такого инструмента, как Sсopus, и у нас появится проблема сравнения полученных результатов, — формулирует проблему Марк Акоев. — Могу предположить, что такого рода инструменты разные команды в нашей стране готовят, но тогда возникнет вопрос. Если мы используем свой, более узкий внешний инструмент оценки, то потеряем возможность сравнивать себя с другими организациями мира по тем же направлениям».
Ирина Карелина предлагает подумать над тем, как использовать российские источники данных о публикационной активности, а затем посмотреть их корреляцию с теми же результатами из международных источников: «Следующий шаг — выработка рекомендаций от нашего интеллектуального и академического сообщества держателям баз данных, Министерству науки и образования, о том, как следует корректировать и развивать сами источники информации».
Светлана Донецкая полагает, что сообществу стоит искать возможности использования российских баз данных: «Трудные времена пройдут, наукометрия никуда не денется, точно так же, как и сама наука. Без фундаментальных основ мы не сможем развивать ни экономику, ни общество».
Сергей Киреев относит вопрос новых источников данных для рейтинга публикационной активности к разряду ключевых: «Мы должны чётко ориентироваться в передовой мировой науке, что возможно при наличии доступа исследователей к соответствующим базам научных публикаций. Безусловно, в нынешних условиях это не простая задача, но её нужно обязательно решить. Это будет способствовать обеспечению технологического суверенитета России не только на ближайшие годы, но и на десятилетия вперёд».
Измерение уровня развития науки в вузах должно отражать стремление к качеству, нужно исключать формальный подход, считает проректор по научной работе Сибирского федерального университета Руслан Барышев.Методика рейтинга научной продуктивности 2023*
*Методика разработана при поддержке Центра мониторинга науки и образования и Лаборатории наукометрии УрФУ
Расчет рейтинга осуществляется на основе четырех смысловых блоков: «Масштаб», «Качество роста», «Востребованность» и «Превосходство». Показатели рассчитывались за период 2019-2022 годы.
В предметном рейтинге принимают участие вузы, опубликовавшие за исследуемый период более 0,5% всех российских публикаций в соответствующей области.
Начиная с 2021 года, в расчетах стали учитываться только журнальные статьи и обзоры во всех предметах, кроме области компьютерных наук и искусственного интеллекта (где продолжают учитываться и тезисы конференций).
В 2023 году из блока «Превосходство» исключен показатель «Представленность в подобластях Q1», что позволило предотвратить в дальнейшем искажение достижений вузов в области высокоуровневых научных публикаций в журналах первого квартиля Scopus и WoS.
Таблицы: Таблицы с результатами рейтинга 2023
