Основные положения методики расчета Рейтинга научной продуктивности вузов - 2017

При подготовке рейтинга научной продуктивности университетов в 2017 году рассматриваются 13 направлений, среди них: инженерные науки, компьютерные науки, математика, материаловедение, науки о Земле, общественные науки, химические технологии, химия, энергетика, гуманитарные науки, наука о жизни, физика и экономика.

При расчете общего балла в рейтинге проводится оценка показателей университета по трем категориям (с равными долями по 33,3%):

1. Качество роста университета
2. Востребованность научной деятельности
3. Масштаб, устойчивость научной деятельности

Категории имеют одинаковый вес при расчете финального результата.

В каждом предметном рейтинге участвуют университеты, на долю которых за последние четыре года пришлось хотя бы 0,5% от общего количества российских научных статей, опубликованных за тот же период.

При расчете учитываются статьи в журналах, индексируемых международной базой научного цитирования Scopus.

Принципы, заложенные в методику рейтинга университетов

Чтобы выделить предметный рейтинг научной продуктивности университетов России «Рейтинг факультетов», при разработке методики были учтены особенности и слабые места уже существующих рейтингов, а именно:  

1. Сфокусировано внимание на одном аспекте деятельности университета — научной составляющей — что позволило комплексно определить успехи университета и избежать субъективных оценок важности различных направлений деятельности, таких как — «насколько образование должно быть важнее научной деятельности? Или наоборот?»

2. Осуществлен предметный подход, обеспечивший более детальный анализ ситуации:

1. для узкоспециализированных университетов такой подход позволяет отразить компетенции в определенной сфере: в общих рейтингах подобные университеты были бы «задавлены» крупными вузами. Яркий пример — Российская экономическая школа, которая занимает в данном рейтинге по экономике второе место второй год подряд, при этом в общих рейтингах находится на 80 позиции (в Интерфакс, в RAEX его нет вообще);
2. для растущих университетов, только «запускающих» научную деятельность, полезность подхода заключается в выделении конкретных направлений (зачастую одного-двух) и явных сильных коллективов, которые могут быть не видны сразу, на фоне всего вуза и увеличении публикационной активности;
3. для крупных университетов, присутствующих в большем числе рейтингов, данный подход позволяет получить дополнительный срез аналитики и отразить сферы наиболее сильных компетенций;
4. для внешних наблюдателей — представляет информацию о деятельности университетов в конкретных, интересующих их предметных областях.

3. Использованы только рассчитываемые показатели, с возможностью репликации результатов. Что в свою очередь позволило не только исключить субъективный характер оценивания и повысить достоверность рейтинга, но и сформировало материалы для дополнительного анализа результатов, а также выстраивания рекомендаций университетам по повышению качества научной деятельности.

4. Предусмотрена вероятность «масштабирования», что являлось одним из основных исходных принципов разработки методологии исследования. В результате созданная методика универсальна и может быть использована для оценки не только российских университетов.

5. Учтена специфика развивающихся стран. Несмотря на то, что фактически российская университетская среда сформировалась достаточно давно, итоги произошедшего реформирования, «глобализация» образования привели к необходимости ускоренного развития вузов. В условиях такого вызова университеты неизбежно столкнулись с «болезнями роста», когда в пользу достижения формальных показателей теряются сущность научной работы и ее качество. Это может произойти как на уровне отдельных сотрудников или подразделений, так и на уровне университета в целом. Как следствие — наносится вред не только имиджу ученого, но и репутации образовательного учреждения, потерям университетов по национальному признаку, дискредитации научной деятельности.

Согласно аналитическим исследованиям и экспертным оценкам, в России самая высокая доля плохих публикаций в общественных и гуманитарных науках, а также в экономике. Поэтому для улучшения качества рейтинга было принято решение исключить из рассмотрения публикации в журналах, входящих в список «хищнических» журналов.

Таким образом, при разработке рейтинга отдельный блок методики был посвящен борьбе с «неэтичным» поведением, частичному нивелированию результатов некорректного поведения ученых.

Сравнение методики 2017 года с 2016 годом

Представленная в прошлом году методика в своей основе сохранилась, однако ее «молодость» и изменяющиеся условия функционирования требуют постепенного ее эволюционирования. По сравнению с прошлым годом произошли три изменения — одно существенное и два небольших:

1. Значительной стала модификация показателя «Концентрация статей». В первоначальной методике данный показатель был призван «отлавливать» ситуации, когда университет публикует большую часть своих статей в 1 — 2 журналах. Проблемой использования показателя с учетом прошлогодней методики была его нечувствительность к более тонким манипуляциям, а также неучет специфики различных предметных рейтингов. Теперь суть расчета была изменена и сведена к следующему — чем больше общее число предметных журналов, имеющих российские публикации, тем шире должен быть охват вуза и в большем их количестве должны быть размещены статьи для получения максимальной оценки.
2. Из расчета показателя среднего количества цитат на статью были убраны самоцитирования, что позволило в большей степени оценить реальное влияние вклада университета на научное сообщество.
3.  В предметных областях «Гуманитарные науки», «Общественные науки», «Экономика» были исключены публикации в «мусорных» журналах, что предоставило возможность точно оценить влияние научной продуктивности на качество университета.