Кбпр ринц что это
Рассуждая о расчетах. Стоит ли тревожиться по поводу КБПР?
Пока в научном сообществе продолжаются дебаты по поводу разработанной Министерством науки и высшего образования методики расчета комплексного балла публикационной результативности (КБПР) научных организаций в рамках госзадания, наукометристы времени не теряют.
Специалисты Научной электронной библиотеки eLIBRARY.RU обновили показатели научных организаций за 2019 год, а заодно рассчитали значения КБПР за 2010-2019 годы в соответствии с текущей версией методики. О том, зачем это сделано и какие выводы напрашиваются, исходя из полученных данных, «Поиск» расспросил генерального директора eLIBRARY.RU Геннадия ЕРЕМЕНКО.
Мы преследовали несколько целей,
Во-первых, хотели сделать так, чтобы все интересующиеся имели возможность проанализировать, насколько адекватными получаются рассчитанные по новой методике результаты. Для этого можно сравнивать, например, разные организации в разных референтных группах или динамику изменения показателей по годам, разным научным направлениям и т. д. То есть прежде всего преследовалась аналитическая цель, которая в любом случае полезна. Во-вторых, мы хотели показать, что можно избавить научные организации от рутинной и затратной по времени работы, связанной со сбором необходимой для расчета КБПР информации.
Эта процедура очень непростая, и организации, особенно те, у которых много публикаций, большой штат сотрудников, неизбежно столкнутся с ощутимыми сложностями. Но зачем? Вся эта информация уже имеется в базах данных, причем выверенная, достаточно хорошего качества, и ее можно использовать для мониторинга без дополнительной нагрузки для организаций.
Сейчас предполагается, что организации сами должны рассчитывать этот коэффициент?
Они должны заполнять таблицы, каждая строчка которой – даже не статья, а отдельный автор статьи, а потом на основании этих данных рассчитывать значение КБПР по общей формуле.
А у вас все данные есть, и расчет происходит автоматически?
Да, по данным РИНЦ (Российский индекс научного цитирования) это рассчитывается элементарно, поскольку практически вся необходимая информация там есть. Конечно, в какой-то публикации организация может быть не идентифицирована или какая-то публикация может отсутствовать. Но статистически эти ошибки невелики и достаточно равномерно распределены, так что на общую картину существенного влияния не оказывают. Более того, к моменту проведения мониторинга научных организаций, подведомственных Минобрнауки, можно делать дополнительную выверку по институтам и вузам. То есть к этому моменту можно добиться гарантий качества имеющейся информации (в том числе в РИНЦ) и быть уверенными в том, что расчеты будут вполне адекватными.
На сайте eLIBRARY.RU сказано, что при расчете КБПР вы учитывали информацию за пять лет, то есть за 2015-2019 годы.
Мы даже за десять лет рассчитали. Просто основная часть показателей – за пятилетний период: это оптимальный массив для статистического сравнения организаций.
При этом КБПР должен рассчитываться за один год.
Действительно, для расчета комплексного балла публикационной результативности по новой методике учитываются данные только за один год – за 2018-й. Поэтому, хотя мы рассчитали его за все годы, в сравнении организаций оставили только за 2018 год, чтобы можно было посмотреть его значение на реальных данных.
Эти результаты, видимо, должны были вызывать очень большой интерес у научных организаций и университетов. Известно ли, как они реагируют?
Мы опубликовали данные по расчету КБПР не так давно – неделю назад. Пока особого обсуждения не наблюдается. Нужно время, чтобы эту информацию переварить. Да и сейчас научным организациям, скорее всего, не до этого. Кроме того, методика еще окончательно не утверждена, что-то в ней может поменяться, и тогда полученные результаты придется пересчитать. Но, на мой взгляд, здесь интересно даже не столько сравнение организаций, сколько динамика публикационной активности по отдельным организациям. В методике, как мы знаем, ставятся определенные задачи в плане роста публикационного потока. И оценить, каков реальный рост по годам на основе предыдущего массива, было бы очень полезно, в том числе и для прогнозирования. Если открыть раздел анализа публикационной активности организации, то там представлены как общие показатели, так и тематические, с разбивкой по годам.
И все же первой бросается в глазе таблица расчета КБПР за 2018 год для всех организаций. Из нее следует, что с очень большим отрывом лидирует МГУ им. М.В.Ломоносова. Значение КБПР (14064.68) у него кратно превышает аналогичные показатели других организаций. Ближе всех к МГУ стоит СПбГУ (7338.34), а потом отставание идет в четыре и более раз. О чем это говорит? Это связано, например, с числом сотрудников, количеством научных направлений? И раз уж КБПР связан с госзаданием, то означает ли это, что оно у МГУ должно быть самым внушительным?
Рассчитанный показатель суммирует баллы по всем публикациям организации. Поэтому, конечно, он зависит от количества сотрудников и их продуктивности. Безусловно, если мы хотим оценивать качество публикаций, то КБПР надо нормировать на количество научных сотрудников. Если нас интересует общий публикационный поток научной организации, к которому и должно быть, наверное, привязано финансирование, то это интегральный показатель, по всем сотрудникам. Поэтому МГУ вопросов не вызывает – это крупнейший университет с большим штатом, тут все логично.
Из приведенной таблицы также следует, что от больших вузов значительно отстают даже самые авторитетные научные институты. То есть они получат заведомо более скромное госзадание?
Мне трудно сказать по поводу госзадания. Мы могли бы цифры пронормировать, но у нас нет точных данных о научных сотрудниках по всем российским организациям. Доверять статистическим данным, которые существуют, тоже не очень верно. Там подсчитаны сотрудники, работающие и на полставки, и просто «мертвые души». Мы знаем число уникальных авторов организации, которые за последние пять лет написали хотя бы одну статью (это означает, что они выдают научный результат), но есть сотрудники, которые только числятся и ничего не пишут, – про них нам ничего не известно. Поэтому нужно понять, как именно нормировать. Например, в вузах профессорско-преподавательский состав неоднородный. Нужно ли всех преподавателей учитывать (даже тех, кто не пишет статей), тоже не очень понятно. Это, скорее, вопрос научной политики, а не наукометрии. И адресовать его нужно в первую очередь Минобрнауки.
А вы со своей стороны планируете адресовать министерству какие-то предложения по этому поводу?
Мы в данном случае выполняем, скорее, техническую функцию. У нас есть информация, которая позволяет все эти показатели считать. А вопросы организации научной деятельности, ее стимулирования – это не к нам.
Если бы к вам обратились, вы бы могли что-нибудь посоветовать?
Конечно. Но к нам не обращаются. Практически ни разу не было, чтобы консультации проводились с нашим участием. Доходит до смешного: иногда придумывают какие-то показатели, которые в принципе рассчитать нереально или очень сложно. И, конечно, на наш взгляд, прежде чем их включать в какие-то нормативные документы, желательно этот вопрос обсуждать и синхронизировать с библиометрическими службами, потому что все равно потом организации обращаются к нам с просьбами все это рассчитать.
А вы понимаете, на основании чего возник этот КБПР, предложенный министерством? Кто формулу придумал?
Насколько я понимаю, эта история тянется еще из ФАНО. Там велись работы по таким расчетам. Логика, безусловно, в КБПР есть, как и во всяком библиометрическом показателе. Он, например, учитывает количество авторов. Чем больше соавторов у публикации, тем меньший балл засчитывается ученым или организациям. В этом есть свои плюсы, поскольку достаточно распространено такое явление, как приписное соавторство. И отчасти предложенная формула позволяет его нивелировать. Но, с другой стороны, в любой научной работе, даже если список авторов реальный, степень участия каждого далеко не равнозначна. Как правило, есть один человек, который выполнил 90% работы. А этого формула не учитывает, она делит все поровну.
Как устранить эту несправедливость?
Мы сейчас запускаем новый инструмент, в котором будет учитываться, какую роль сыграл в публикации конкретный автор. Есть международный классификатор ролей авторов, который эту информацию учитывает. Авторский коллектив при подаче статьи в редакцию может указывать «распределение ролей»: научное руководство, участие в эксперименте, теоретические исследования, расчеты и т. д. Есть даже роль по получению финансирования на работу.
И у какой же роли наибольший вес? Эксперимент, теория, добывание денег?
В процентах это подсчитать невозможно – получится уж слишком искусственно. Как вы оцените, к примеру, научное руководство? Возможно, научный руководитель дал такой совет, благодаря которому эта публикация вообще появилась.
КБПР, как мы знаем, учитывает и качество публикаций. В связи с этим русская полка журналов RSCI в Web of Science (WoS) наверняка станет еще более привлекательной для авторов. Что ждет этот индекс? Как он будет обновляться, изменятся ли требования к журналам?
Действительно, роль RSCI постепенно растет. Есть предложения замены перечня ВАК в определенных областях на эту базу. Поэтому качество экспертизы при принятии решения о включении или исключении журнала из RSCI должно расти. Определенные шаги в плане организации этой деятельности мы предпринимаем. Сейчас как раз заканчивается очередной этап, и скоро будет опубликовано решение рабочей группы. На этот раз экспертиза проводилась через специально разработанную нами для этой цели экспертную систему. Там уже не просто принимается решение, включить или не включить, а даются определенные оценки, учитывается, какой аспект качества журнала вызывает вопросы. То есть эксперты давали содержательные вердикты по каждому из рассматриваемых журналов. Здесь, я думаю, и дальше будет ужесточение. И значительного роста числа журналов в RSCI не предвидится.
Недавно вы провели сравнение публикаций российских ученых в базах данных WoS, Scopus и RSCI. К каким интересным выводам пришли?
Мы просчитали на реальных данных среднюю цитируемость публикаций российских ученых для различных категорий журналов. Методика расчета КБПР зависит от того, к какой базе данных или квартилю относится издание. Мы решили посмотреть: если взять весь массив публикаций российских ученых, то как реально соотносится их качество в различных базах данных. Получилось, что цифры достаточно сильно отличаются от предложенных в методике. В целом понятно, почему. Но факт есть факт: реальные данные немного другие. Так вот если точно так же брать категории журналов, как предложено в методике, то после исключения публикаций, попавших в 1-4 квартили WoS, оставшиеся публикации в RSCI по качеству оказываются примерно на одном уровне со Scopus и в полтора раза лучше, чем Emerging Sources Citation Index (ESCI), который относится к WoS Core Collection. При этом коэффициент в методике у RSCI ниже. То есть налицо некоторая дискриминация российских журналов в методике расчета КБПР, хотя по логике должно быть наоборот – нужно стимулировать приток качественных публикаций в российские журналы и выводить их на международный уровень.
Кроме того, мы пришли в выводу, что коэффициенты качества КБПР для первых трех квартилей WоS явно завышены. По-видимому, они считались на основе средних показателей в квартилях по всем публикациям WоS. Однако средний уровень российских публикаций в этих квартилях заметно ниже среднего по всем публикациям. С другой стороны, это может быть и вопрос научной политики, то есть таким образом министерство планирует стимулировать публикации в топовых международных научных журналах.
Четвертый квартиль WoS, ESCI и Scopus имеет одинаковые коэффициенты качества КБПР, тогда как в реальности российские публикации в журналах ESCI и Scopus, не входящих в WoS, примерно в 3-4 раза хуже по качеству, чем WoS Q4.
Что интересного вы увидели по ваковским журналам?
Там получается очень сильный провал. Если убрать из Перечня ВАК журналы, которые попали в международные базы данных и в RSCI, то остаются журналы довольно низкого качества, примерно в 25 раз хуже, чем четвертый квартиль WoS. Они не сильно отличаются от всех остальных журналов в РИНЦ. Конечно, здесь нужно принимать во внимание, что при наших расчетах учитывались только цитирования из ядра РИНЦ (то есть из журналов WoS, Scopus и RSCI). Если брать цитирования по всему РИНЦ, то показатели могут отличаться. Однако и доверия к ним меньше, поскольку далеко не все из журналов в РИНЦ действительно контролируют качество публикаций и списков литературы. Что касается ядра РИНЦ, то там все журналы проходят серьезную экспертизу, и какие-то махинации с цитированием гораздо менее вероятны.
Какая картина по монографиям?
Сейчас практически весь поток новых монографий российских издателей попадает в РИНЦ, так что информация для расчетов есть. Но как они будут учитываться в окончательной версии методики, пока не понятно. Этот вопрос вызвал большие споры в научном сообществе. Наше предложение заключается в том, чтобы включать лучшие монографии в ядро РИНЦ на основании экспертной оценки и учитывать их с повышенным коэффициентом. Аналогичная ситуация с патентами. Как-то учитывать их, наверное, нужно в некоторых научных направлениях. Опять же вся необходимая информация для этого есть – у нас налажено взаимодействие с ФИПС, и все российские патенты теперь попадают в РИНЦ и включаются в профили ученых и организаций.
Новая методика расчета комплексного балла публикационной результативности (КБПР)
В письме от 14.01.2020 г. № МН-8/6-СК Минобрнауки России сообщает о начале мероприятий по корректировке государственного задания на 2020 год для научных организаций, подведомственных Минобрнауки России, в соответствии с Методикой расчета качественного показателя государственного задания “Комплексный балл публикационной результативности”, утвержденной Минобрнауки России 30 декабря 2019 года.
Положения Методики неоднократно обсуждались с представителями ведущих научных и образовательных организаций, РАН и Профсоюза работников РАН в рамках заседаний рабочей группы Минобрнауки России по подготовке рекомендаций по установлению единых требований к порядку формирования и утверждения государственного задания на проведение за счёт бюджетных ассигнований федерального бюджета фундаментальных, поисковых и прикладных научных исследований, созданной на основании приказа Минобрнауки России от 16 августа 2019 г. №>613. По итогам совместной работы Методика была одобрена рабочей группой, и согласована Российской академией наук (письмо от 30 декабря 2019 г. № 2-10110-5215/1429).
Новая Методика прилагается к письму. Отметим, что ее основной особенностью является использование фракционного счета-метода, который разделяет вклад авторов и организаций в научный результат, и качества журналов – категории, которую определяет уровень цитируемости журнала. Методика также учитывает различные типы публикаций, включая публикации в изданиях, индексируемых Web of Science, Scopus, публикации в журналах ВАК и монографии, зарегистрированные в Российской книжной палате.
Новая методика подробно описана в приложении
Частые ответы Минобрнауки о Методике приведены здесь
Михаил Соколов. Как метрика КБПР изменит практики публикационной активности ученых?
В августе текущего года была переработана методика расчета комплексного балла публикационной результативности (КБПР), введенная в январе 2020 года. Каких последствий от ее использования ожидают РАН, наукометры, социологи и физики? Читайте в репортаже Indicator.Ru с комментариями профессора факультета социологии Европейского университета Михаила Соколова.
«Формула раздора
Опубликованная Министерством науки и высшего образования в январе этого года методика расчета комплексного балла публикационной результативности (КБПР) для научных институтов вызвала вал открытых писем к руководству страны, бурные дискуссии о вреде наукометрии для отечественной науки и многочисленные межведомственные заседания Российской академии наук, Министерства и других заинтересованных организаций. Из-за пандемии переработка методики в более приемлемую завершилась не весной, а лишь в конце августа.
Новый документ отличается от первой возмутившей всех версии особой шкалой для оценки научных публикаций по гуманитарным и общественным наукам. По умолчанию баллы за научную статью для организации умножаются на «коэффициент качества» журнала, равный, например, для изданий первого квартиля Web of Science 20, а для не включенного в международные базы данных журнала из списка ВАК — 0,12. Но для гуманитарных и общественных наук любая публикация в журнале, индексируемом в Web of Science, имеет коэффициент 3, а в ВАКовском — 1. Также гуманитарии получили право получать баллы за монографии и другие книги.
Неизменным остался главный принцип методики — фракционный счет, то есть дробление баллов за каждую публикацию по числу соавторов и аффилиаций у автора, работающего в организации, для которой считается балл. Сохранилась и спорная норма, согласно которой КБПР должен расти у всех, но у «догоняющих» организаций с низкими публикационными показателями — быстрее всех, на 30% в год. Не скорректированы, как отмечали участники дискуссии о КБПР, и плановые показатели балла на 2020 год.
На международной научно-практической конференции «Наука, технологии и информация в библиотеках (LIBWAY-2020)», организованной Государственной публичной научно-технической библиотекой Сибирского отделения РАН, темой дискуссии «КБПР: бенефициары и потерпевшие» стали не способы расчета баллов, а вероятные последствия от внедрения новой метрики. «Помимо уверенного роста количества научных публикаций, применение наукометрии на государственном уровне для оценки научной результативности способствовало развитию ряда негативных явлений, таких как мусорные журналы и конференции, покупное и подарочное соавторство, фиктивные коллаборации. Показатель КБПР вводился в том числе для минимизации этих последствий и создания новых стимулов для повышения качества публикаций», — напомнил участникам директор ГПНТБ СО РАН Андрей Гуськов. Будучи модератором беседы, он предложил ответить, кто выиграет и кто проиграет от введения КБПР, как новая метрика изменит практики публикационной активности и какую роль в оценке результативности научных исследований должна иметь наукометрия. Гипотезы прозвучали разнообразные.
«Выигрывает российская наука, проигрывают бездельники, которые не хотят, чтобы их оценивали»
Так оценил ожидаемые последствия внедрения КБПР вице-президент РАН Алексей Хохлов. «Если вы хотите посмотреть, что будет через несколько лет, посмотрите на Московский университет», — призвал он, подчеркнув, что МГУ имени М. В. Ломоносова давно оценивает баллами публикационную результативность сотрудников наряду с чтением лекций, работами по хоздоговорам и другими видами активности. КБПР будет двигаться к такой же всеобъемлющей оценке, только не для отдельных ученых, а для организаций в целом. Сейчас методика учитывает только фундаментальные исследования в научных институтах, но уже в следующем году, ожидает Хохлов, ее действие расширится.
Сейчас в рамках поручения президента о том, что должны быть сформированы единые требования к формированию госзадания на научные исследования, видимо, будут решения на 2021 год по распространению методики на вузы, и тут важно решить, как учитывать педагогическую работу и прикладные исследования — патенты и хоздоговора. Фактически методика КБПР, поскольку это баллы, а не штуки статей, позволяет проводить такие обобщения.
Алексей Хохлов
Вице-президент РАН
С похожим прогнозом — от внедрения КБПР выиграют те ученые, кто активно работает, — ожидаемо выступил один из авторов методики, заместитель директора по развитию Физического института имени П. Н. Лебедева РАН Олег Иванов. Со стороны гуманитарных наук сдержанно оптимистичную позицию высказал профессор факультета социологии Европейского университета в Санкт-Петербурге Михаил Соколов, который подчеркнул: наукометрия не всегда меняет поведение ученых в худшую сторону. Допустим, в организации появляется показатель по числу статей в рецензируемых журналах. Сотрудники вынуждены его выполнять, постепенно многие из них осваивают позитивные публикационные практики, в которых раньше не было нужды, и вот уже через несколько лет без особых проблем пишут статьи для международных журналов. «Если исследовать картину на микроуровне, она кажется во многом искаженной — как будто большинство ученых недобросовестные, только и думают, как им обмануть систему. В каком-то смысле это очерняет человеческую природу и природу российского ученого в частности. На практике мы видим, что на разного рода публикационное давление реакция „броситься в мусорные журналы Scopus“ не была количественно доминирующей», — отметил Соколов.
«Проигрывает физика высоких энергий, выигрывают химия и материаловедение»
Такой результат показали наукометрические расчеты, выполненные в ГПНТБ СО РАН. На дискуссии их представил заместитель директора библиотеки Денис Косяков. Работа включала расчет КБПР для организаций из разных областей наук и оценку того, какие практики публикаций более и менее выгодны при использовании нового показателя. В своем выступлении Косяков выделил четыре основных последствия. Во-первых, пострадают большие коллаборации, характерные для физики высоких энергий и астрономии: публикации с тысячами авторов станут приносить слишком мало баллов. В других случаях научного сотрудничества, считает Косяков, не все будут готовы делиться баллами за минорный вклад в исследование и включать в свои статьи соавторов из других организаций. Если продолжить эти рассуждения и посмотреть, кто за счет дополнительных баллов за высокорейтинговые публикации выигрывает, получится, что на полюсе «проигравших» — физика, «победивших» — химия, так как ученые в этой области публикуют заметное количество статей в высокорейтинговых журналах сравнительно небольшими коллективами. Во-вторых, многие ученые могут отказаться от указания дополнительных аффилиаций, ведь на них организации тоже будут терять баллы. Сходно с этим третье вероятное последствие: невыгодными для российских организаций станут фиктивные «программы привлечения» ведущих зарубежных ученых — фактически покупки аффилиаций. Если иностранный ученый реально не работает в России, но приписывает российскую аффилиацию как одну из многих, КБПР на нем организация не поднимет. Это единственное последствие, которое Косяков оценивает как в целом положительное. Четвертое поводов для радости не оставляет: пострадают добросовестные представители гуманитарных и общественных наук. Введенная для них в последней версии методики «плоская шкала» коэффициентов за статус журнала не оставляет никаких преимуществ тем, кто публикуется в высокорейтинговых изданиях. А скорее, даже наоборот, поощряет клиентуру мусорных журналов по-прежнему гнать вал некачественных статей. На этот счет Алексей Хохлов позже высказался, что методика еще будет меняться, и, если гуманитариям не понравится «плоская шкала», в следующем году ее можно будет и слегка «наклонить».
Соколов предположил, что вдобавок к «мусорным» статьям в недолговечных журналах в российской науке может развиться новая напасть для публикационной этики: фальсификация результатов. На вопрос Андрея Гуськова, как к этому может привести КБПР с его поощрением публикаций в журналах с качественным рецензированием, социолог ответил просто: ставки становятся выше. «Сейчас нет разницы между публикациями в Q4 и Q1, и можно пойти по более дешевому пути, не очень энергозатратному. А если первый квартиль станет необходимой мишенью, потому что будет весить гораздо больше, возникнет вопрос, как попасть туда. А попасть туда можно с сильным и важным результатом», — отметил Соколов. У большего числа недобросовестных исследователей появится соблазн слегка подправить свои результаты, чтобы они выглядели ярче. И выявить это на этапе рецензирования можно не всегда: рецензент не может воспроизвести эксперимент, изучить вслед за автором статьи, все архивные документы или проинтервьюировать его респондентов.
«КБПР подталкивает ученых в мегажурналы с открытым доступом»
Иван Стерлигов, до недавнего времени директор Наукометрического центра Высшей школы экономики, привел несколько «предполагаемых эффектов», вероятное проявление которых стоит учитывать при внедрении новых публикационных индикаторов в научную политику. Это смещение целей исследовательской работы с научного результата на выход публикации; перефокусировка ученых на мейнстримные темы, работы по которым точно опубликуют; их отказ от деятельности, которая не оценивается баллами; индикаторный каскад — переход созданных для оценки целых научных направлений и организаций показателей на уровень отдельных ученых; и искажение сознания самих участников научного процесса, когда библиометрические характеристики (например, импакт-фактор журнала) используются для оценки качества научных работ или даже самих ученых. На больших масштабах, например на уровне страны, доля публикаций местных ученых в высокорейтинговых журналах может коррелировать с долей их высокоцитируемых статей, но на уровнях ниже эта корреляция теряется, напомнил Стерлигов.
Установить причинно-следственную связь между всеми этими эффектами и введением какой-то конкретной схемы оценки научной деятельности сложно, подчеркнул Стерлигов, — слишком много переменных в этой картине. Оценить «чистый» возможный эффект от КБПР тоже непросто. Гораздо важнее общий контекст, который новая методика застала в российской науке. Она, отметил Стерлигов, крайне слабо связана с трансфером технологий в коммерческий сектор и экономикой вообще.
Наука у нас — это некое социальное предприятие, связанное еще, может быть, с национальным престижем.
Иван Стерлигов
Наукометр
В результате, считает Стерлигов, очень сложно определить, а кто вообще из всей цепочки акторов научной политики в России заинтересован в качестве самой научной работы, а не в ее формальных показателях. Непосредственный результат от внедрения КБПР как новой системы формальной оценки, заключил он, будет в ориентации российских ученых на огромные междисциплинарные издания с относительно высоким импакт-фактором.
Сама система подталкивает ученых публиковаться в журналах, которые публикуют быстро с не очень строгим рецензированием, при этом имеют нужный квартиль. Это мегажурналы открытого доступа, например Scientific Reports. Такое поведение, может быть, — умеренный оппортунизм, но это хорошо с точки зрения, что мы вдруг соответствуем глобальным целям по открытому доступу.
Иван Стерлигов
Наукометр
«Надо пройти определенные стадии»
Самым сложным для участников дискуссии оказался вопрос о том, каким весом наукометрические оценки должны обладать в мониторинге научной деятельности вообще. Судя по словам Алексея Хохлова, он считает КБПР одним из этапов на пути к более адекватной оценке науки.
Надо пройти определенные стадии. Ту стадию, на которой мы сейчас, в Китае прошли еще десять лет назад. Сейчас они уже оценивают не вал публикаций, а лучшие работы, выдвинутые организацией.
Алексей Хохлов
Вице-президент РАН
Что стоит изменить в методике уже в ближайшее время, например в плане на 2021 год, по мнению Хохлова, так это «плоскую шкалу» коэффициентов качества для гуманитарных и социальных наук и требование к отстающим организациям расти быстрее, чем лидеры. Михаил Соколов тоже высказался за «наклон шкалы» для гуманитарных и социальных наук.
Кажется, что создатели КБПР махнули на нас рукой и решили, что мы исправлению не подлежим и все, что мы пишем, — мусорная часть Scopus, в сортах разбираться не будем. Но это несправедливо: наукометрия для гуманитариев даже в России работает достаточно хорошо. Даже такие примитивные методики, как разделение на «ядро — не ядро» РИНЦ имеют предсказательную силу в отношении научных репутаций, это можно продемонстрировать.
Михаил Соколов
Профессор факультета социологии Европейского университета в Санкт-Петербурге
Иван Стерлигов резко негативно оценил «тоталитарный характер» КБПР: колоссальное отличие от аналогичных систем в других странах в том, насколько такие показатели влияют на зарплату российских ученых и на судьбу самих организаций. В других странах, где наукометрические показатели учитываются в научной политике, с ними связана, как правило, лишь небольшая часть бюджета организации. «Правильно ли насколько привязываться к этой метрике?» — закончил он риторическим вопросом.
В любом случае существующая метрика может сработать только как переходная на протяжении нескольких лет, считает Олег Иванов. «Мы пытались придумать методику, которую уронить труднее всего, — признался он. — Дальше необходим переход к более продвинутым метрикам, которые влезут внутрь статьи в каком-то смысле. Но для этого сама статья должна измениться — данные должны стать открытыми и так далее».
Что со временем системы оценки науки будут (и должны) усложняться, считает и Денис Косяков.
Давление показателей заставляет руководство научных организаций и исследователей обращать внимание просто на вал, на план по валу. Даже в правоохранительных органах собираются отказываться от «палочной системы», а в науке мы ее вводим. Наверное, это неправильно. И нужно более пристально посмотреть на объект оценки, ведь небольшой академический институт и разнонаправленный крупный вуз — это разные организации, нельзя их сравнивать, как единицы. И не стоит делать оценки в рамках одного года, потому что год на год не приходится. Прийти к лучшему качеству российской науки мы можем через усложнение системы оценки, через открытые данные в этой системе, через то, что мы будем больше обращать внимание на нюансы в разных организациях и областях науки. Чем больше сложности, тем качественнее может быть и результат».
Денис Косяков
Заместитель директора ГПНТБ СО РАН