Что в индексе тебе моем?

С того времени, когда в России стали оценивать плодотворность работы научных организаций и, соответственно, ученых на основании количественных показателей публикационной активности, прошло уже примерно пятнадцать лет^[1]. Можно подвести уже некоторые предварительные итоги.

Однако начать хотелось бы не с анализа библиометрических критериев в целом, а с более частного разбора изменившихся требований к публикациям соискателей кандидатской и докторской ученых степеней. 

 

ВАК уполномочен заявить

 

На протяжении долгого времени от готовящих диссертации на степень кандидата наук требовался определенный объем (1,5 печатных листа, то есть в пересчете на компьютерные знаки — 60 000 знаков с пробелами), а не количество публикаций по теме исследования; при этом было совершенно не важно, в каком издании — сборнике или журнале — напечатаны эти статьи. Ситуация изменилась в 2002 году, когда Высшая аттестационная комиссия Российской Федерации — организация, присуждающая или утверждающая ученые степени, — установила перечень научных журналов, рекомендуемых для диссертационных публикаций^[2]. Сначала считалось, что для «кандидата в кандидаты» достаточно одной статьи в таком журнале. А в 2013 году было принято правительственное постановление, определившее требуемый минимум по гуманитарным дисциплинам в три статьи из перечня ВАК^[3]. Институты, получившие право самостоятельно присваивать кандидатскую степень, порой пошли еще дальше — так, руководство МГУ приняло решение о необходимости для гуманитариев — соискателей кандидатской степени иметь не три, а четыре научные публикации в соответствующих журналах, а для официальных оппонентов — не менее пяти публикаций в таких периодических изданиях, выпущенных за последние пять лет^[4].

У этих административных инноваций были по меньшей мере две цели. Первая, официально не декларируемая, — финансовая. Препоны на пути лавины соискателей кандидатской степени могли отсеять немалую их часть — менее целеустремленных или упрямых. Ведь тем, кто в дальнейшем поступал на работу в такие государственные учреждения, как, например, школы, по закону требовалось ежемесячно доплачивать за степень. Деньги это были небольшие (тогда — всего лишь 3000 в месяц), но в масштабах страны не такие уж мизерные.

Второй, официально объявляемой целью было названо повышение научного уровня диссертаций, который при обилии соискателей неизбежно падал: требование публикаций только в рекомендованных ВАК журналах должно было отсечь саму возможность печатать (по протекции научного руководителя или попросту за деньги) эпигонские, если не плагиаторские статьи и, соответственно, защищать «макулатурные», псевдонаучные диссертации, получая вполне себе настоящие кандидатские дипломы, в каких-то случаях даже небезуспешно делая дальше карьеру в науке или образовании.

Соображения, казалось бы, небеспочвенные. Но вот досада: публикация в рецензируемых журналах из перечня ВАК далеко не обязательно гарантирует высокий научный уровень статьи. В 2008 году своеобразной сенсацией стала провокация, осуществленная известным биоинформатиком, молекулярным биологом и общественным деятелем Михаилом Гельфандом, который с помощью компьютерной программы по составлению псевдонаучных текстов сгенерировал нечто под названием «Корчеватель: алгоритм типичной унификации точек доступа и избыточности», подписал именем несуществующего аспиранта М. С. Жукова и отправил его в ваковский «Журнал научных публикаций аспирантов и докторантов», заплатив официально требуемые редакцией за напечатание четыре с половиной тысячи рублей. Статья прошла научное рецензирование и была благополучно предана тиснению^[5].

Это, конечно, случай анекдотический. И сам Михаил Гельфанд, отвечая на вопрос журналиста «Российской газеты» Юрия Медведева «И много у нас подобных журналов — с заочным рецензированием и твердой калькуляцией услуг?», признал: «Конечно, нет. Но чтобы другим неповадно было, чтобы они не мешали делать важное дело, и была предпринята эта акция»^[6]. Тем не менее практика коммерческих публикаций в ваковских журналах (конечно, не в авторитетных и известных) и в приравненных к ним зарубежных периодических изданиях существует, и появились фирмы, специализирующиеся на оказании услуг такого рода. Соответственно, быстро расплодились и вошли в перечень ВАК новые журналы, пригодные для таких публикаций. Это, однако, неприятность еще небольшая. Система рецензирования, даже если она реально существует в том или ином журнале, не особенно надежно гарантирует отсеивание слабых статей. Рецензирование, насколько мне известно, на практике осуществляется далеко не всегда, нередко же не является «слепым», то есть рецензент знает фамилию автора. Есть еще много нюансов: например, статью можно отдать «нужному» или же недостаточно компетентному эксперту, причем в таком выборе может и не быть никакой нехорошей задней мысли: сведущих в предмете статьи рецензентов не всегда получается найти.  И наконец, существует целая индустрия по написанию не только статей на заказ для рецензируемых журналов, но и самих диссертаций^[7]. Так что, если статья, опубликованная в ваковском журнале, не является откровенной макулатурой, это отнюдь не всегда свидетельствует об ученой компетентности автора — он может оказаться автором номинальным. 

Количественные показатели как критериев научной состоятельности или эффективности вообще ущербны: они практически ничего не говорят о качестве ученых трудов. Можно опубликовать одну малосодержательную статью в ваковском журнале, а можно — три или четыре — в крайних случаях это будет клонированием халтуры. И от появления периодических изданий наподобие того, где был издан приснопамятный «Корчеватель», мы отнюдь не застрахованы. Ваковские правила отсекают возможность публикаций в научных сборниках. Между тем сборники часто не уступают по авторитетности таким журналам, а вероятность создания псевдоученых книг такого рода, предназначенных специально для издания всякого шлака и мусора, имитирующих научность, меньше, чем организация подобных периодических изданий.

Каким же образом бороться с девальвацией ученых степеней? Одним из средств противодействия могла бы быть отмена доплат за степень. Другим — запрет защит для чиновников или иных представителей власти в период нахождения ими в соответствующей должности. Третьим — необходимость для тех, кто не работает в науке, подтверждать ученую степень регулярными публикациями и выступлениями на конференциях: в противном случае эта степень «сгорает». (Для институционализированных ученых такие публикации и доклады обязательны по умолчанию.) Безусловно, эти меры имеют оборотную сторону, и я бы не настаивал категорически на их внедрении. (Впрочем, и сама возможность их принятия выглядит маниловским мечтательством.)

Но существеннее другое: «конвейерное» производство новых кандидатов наук объясняется во многом легкостью защит — увеличение числа опубликованных работ и обязательное издание их в ваковских журналах делает ситуацию менее комфортной, но не более того. Поступление в аспирантуру в учебных институтах часто не сопряжено с особыми трудностями независимо от реальных результатов, показанных на экзамене, — порой слабых претендентов тянут за уши из трясины невежества, завышая оценку: ведь количество выделяемых кафедрам мест на следующий год зависит от их заполнения в предыдущем году. Не будут заполнены — урежут квоты. К тому же руководство аспирантами дает преподавателям значительные часы нагрузки. Количество защищенных диссертаций является одним из показателей качества работы кафедр или отделов, поэтому они не заинтересованы в отчислении аспирантов или в недопуске к защите. Сохранение неизменными квот и, соответственно, объема финансирования аспирантуры вместе со снижением нормативной часовой нагрузки и повышением зарплаты могло бы отчасти разрешить ситуацию. Еще одной мерой могло бы быть увеличение числа официальных оппонентов, или создание межинститутских диссертационных советов, либо защита диссертации в совете не по месту учебы соискателя. Впрочем, негативные последствия таких инноваций тоже очевидны: прежде всего, они просто серьезнейшим образом усложнят жизнь всех соискателей кандидатской степени, заставив продираться через бюрократические рогатки и тех, кто действительно привержен науке и занимается учеными изысканиями всерьез.

Однако проблема обесценивания ученых степеней, вызванная появлением большого числа слабых диссертационных исследований, вступает в конфликт с противоположной — с весьма значительным количеством аспирантов, не представивших диссертаций к защите: в 2010 — 2013 годах количество защитившихся варьировалось в пределах всего от 29 до 33 процентов^[8]; в сентябре 2018 года заместитель министра образования и науки Марина Боровская сообщила, что защищают диссертации только 12 процентов аспирантов университетов и академических институтов, а целями национального проекта «Наука» было объявлено увеличить этот процент до 24, в ведущих институтах же — до 40 к 2024 году^[9]. К 2020 году тенденция только усилилась: число защитившихся составило всего 8,9 процента от общего количества аспирантов^[10]. Ничего из ряда вон выходящего в этом нет: во многом аналогичная ситуация характерна, например, для американских университетов^[11]. Происходит это преимущественно отнюдь не в результате решений кафедр или научных отделов не выпускать диссертации на защиту или же отказе аттестации во время учебы, приводящем к отчислению, а вследствие нежелания аспирантов по тем или иным причинам диссертационные работы писать или заканчивать. Годы аспирантуры довольно часто воспринимаются как вольготное время, заполняемое, впрочем, отчасти разного рода подработками или работой, но отнюдь не научной. Негативно сказалась и реформа аспирантуры в декабре 2012 года, превратившая ее из социального института, готовящего ученых, в третью ступень высшего образования, следующую за бакалавриатом и магистратурой: обязательным стало прослушивание учебных курсов, а не работа над диссертацией, не написание статей, не участие в научных семинарах и конференциях^[12]. Для успешного окончания аспирантуры и получения справки с квалификацией «преподаватель-исследователь» стало достаточным защитить не диссертацию, а выпускную квалификационную работу — требования к ней были намного более мягкими. Посещение учебных курсов, отнимающее время, отнюдь не способствовало постоянной научной работе. Негативные последствия этой реформы очевидны: образования, получаемого в бакалавриате и магистратуре, вполне достаточно, и обучение в аспирантуре неизбежно оказывается дублированием, повторением прежде пройденного^[13]. Конечно, как известно, repetitio est mater studiorum, однако такое повторение достаточно накладно. Впрочем, в 2022 году была начата новая реформа аспирантуры, перенесшая акцент с учебной составляющей на научную и разрешившая институтам самостоятельно определять их соотношение^[14]. Разумным было полностью отказаться от образовательной компоненты в аспирантуре.

Что же касается неплодотворной траты средств на аспирантов, не пишущих и не защищающих диссертаций, то, возможно, было бы разумным сократить число бюджетных мест в аспирантуре: кандидаты наук, не работающие и не намеренные работать в науке или образовании, — это, по сути дела, нонсенс. Еще одним средством экономии бюджетных расходов и повышения ответственности мог бы, например, стать контракт, обязывающий аспирантов в случае, если они не подготовили диссертационное исследование (а может быть, и если не прошли предзащиту), вернуть деньги, затраченные на обучение. Впрочем, беспокойство по поводу неэффективного расходования финансов никак не входит в круг обязанностей и забот автора этих строк. И, в конце концов, это далеко не самый значительный пример подобных трат.

     

О сборнике бедном замолвите слово

 

Принятые ВАК правила, признающие значимыми только публикации в рецензируемых журналах, резко понизили формальный статус научных сборников. Если большинство периодических научных изданий смогли войти в соответствующий перечень (для этого было достаточно установить периодичность не меньше четырех номеров в год и ввести процедуру обязательного рецензирования публикаций), то сборникам был поставлен непреодолимый барьер: даже серийные издания этого рода не могут выходить в свет с такой частотой. Между тем авторитетные сборники ничем не уступают известным журналам. Скажем, чем издаваемая с 1989 года Институтом мировой литературы РАН «Герменевтика древнерусской литературы» проигрывает такому действительно авторитетному периодическому изданию, как «Древняя Русь. Вопросы медиевистики»? Только тем, что сборник выходит один раз в год или в два, а журнал — ежеквартально. Рецензирование? Но все статьи в «Герменевтике» его проходят, причем они рецензируются дважды и это «слепая» экспертиза: рецензенты не знают фамилий авторов. Тем более это можно сказать о «Трудах Отдела древнерусской литературы» Института русской литературы — издании, в котором считали и считают за честь опубликоваться и отечественные, и зарубежные медиевисты. А ведь здесь впервые появились многие работы Д. С. Лихачева, И. П. Еремина, Л. А. Дмитриева, О. В. Творогова и многих других выдающихся отечественных ученых, а также статьи многих влиятельных зарубежных исследователей — например, Р. Пиккио и А. Поппэ. Аналогичный случай — издаваемые тем же Институтом русской литературы серийные сборники «XVIII век» — разве опубликованные в них статьи в чем-то проигрывают работам сходной тематики (и иногда принадлежащим одним и тем же ученым), печатаемым в журнале ИРЛИ «Русская литература»? Кроме того, сборники нередко составляются из статей, написанных на основе докладов на известных научных конференциях, что дополнительно подтверждает научную значимость таких публикаций^[15].

Можно было бы возразить, что сборники в отличие от журналов, как правило, не индексируются, а научные индексы, отражающие цитируемость издания, показывают его авторитетность. Однако это не всегда так: например, та же «Герменевтика» в Электронной библиотеке (eLIBRARY.ru) РИНЦ (Российского индекса научного цитирования) индексируется, причем входит в ядро РИНЦ; правда, при этом она ошибочно признается журналом с периодичностью раз в год, но в ваковский печень, естественно, не входит^[16]. (Фактически ежегодное издание, конечно, журналом не является.) Включение сборников в РИНЦ обусловлено договором с издательством и является процедурой непрозрачной (предполагается некая строгая экспертная оценка). Попадание тех или иных изданий в РИНЦ — тайна за семью печатями. Даже в отношении журналов возникают некоторые вопросы. Показателен, например, параграф 3.2 Рекомендации ВАК «Новые подходы к нормативно-правовому регулированию системы аттестации научных кадров высшей квалификации в Российской Федерации» от 26 июня 2019 года, где говорится о «проводимой РИНЦ политике произвольного исключения из РИНЦ изданий», входящих в Перечень ВАК, и сообщается об исключении требования, чтобы журналы, в которых публикуют свои работы соискатели кандидатской и докторской степени, были обязательно в РИНЦ зарегистрированы^[17]. Я воздержусь из-за неосведомленности от суждения о правоте какой-либо из сторон в оценке этой политики. Но ясно одно: присутствие или отсутствие издания в РИНЦ само по себе ничего не говорит о его научной значимости.

При отсутствии же индексации в РИНЦ оценка издания по формальным критериям попросту невозможна. Поэтому и бессмысленно априори отдавать предпочтение журналам перед сборниками.

Между тем преимущество периодики перед сборниками — один из критериев оценивания эффективности научной работы, и им определяется назначение премий и надбавок. В системе институтов РАН публикации в сборниках при решении о надбавках не учитываются. А в МГУ, где надбавки начисляются за публикации в большинстве научных журналов, премируются только сборники, входящие в ядро РИНЦ. Сборники и здесь оказываются ущемлены.

Приоритет, отдаваемый журналам перед сборниками, отчасти объясняется преимущественной ориентацией приверженцев наукометрии на ситуацию в области точных и естественных наук: в ней, как в Советском Союзе/России, так и за рубежом, публикации в научной периодике абсолютно превалировали над работами, изданными в сборниках, поскольку сами научные сборники — явление довольно редкое. В гуманитарных дисциплинах ситуация иная: сборники здесь исторически успешно конкурировали и отчасти по-прежнему конкурируют с журналами. Игнорирование этого факта приводит к искажению картины вещей и к недооценке труда ученых. Конечно, сборник сборнику рознь. Но ведь и не все журналы «одинаково полезны». По крайней мере приравнять сборники, издаваемые с грифом академических или национальных исследовательских университетов (а может быть, и всех университетов), к периодическим научным изданиям этих же организаций было бы вполне разумно и честно.  В соответствии с индексом цитирования журналы делятся на четыре группы — квартили, из которых авторитетными признаются принадлежащие к 1-му и 2-му квартилям (Q1-Q2). Быть включенными хотя бы во 2-й квартиль большинство сборников точно заслужили. Возможно, не лишено смысла ранжирование сборников в соответствии с научными рейтингами выпускающих организаций. Хотя всякое ранжирование и любые рейтинги уязвимы по определению. Между прочим, ранжирование журналов на квартили в России было проведено по довольно странным критериям: «Количественные показатели: 1) Science Index; 2) Индекс Херфиндаля-Хиршмана; 2) Индекс Джинни (так! Дважды представлен пункт 2 — А. Р.); 3) Средний индекс Хирша авторов; 4) 10-летний индекс Хирша издания; 5) Среднее число просмотров с среднем (так! — А. Р.) на одну статью за год. Качественные показатели: 1) качество научных статей;  2) уникальность научных статей; 3) уровень авторитетности авторов; 4) качество организации рецензирования; 5) организация-учредитель»^[18].

Коня и трепетную лань, а может статься, даже лебедя, рака и щуку впрягли-таки в одну телегу, количественные показатели смешали с качественными. Как они взаимодействуют — тайна сия велика есть. Но это еще не все. Индекс Херфиндаля-Хиршмана — это показатель, оценивающий уровень концентрации рынка (монополизации отрасли), индекс Джинни (правильно: коэффициент Джини) — статистический показатель степени расслоения общества. Какое отношение они имеют к науке, ВАК знает. Автор этих строк — нет.

 

Нас посчитали, или Пациенты ПРНД

 

Новые требования к публикациям для кандидатов в кандидаты и доктора и разделение научных публикаций по статусу — это частные случаи более общей тенденции выработать количественные показатели труда ученых — критерии, которые должны стимулировать научную работу с помощью надбавок и премий, способствовать распространению практики так называемого эффективного контракта, а заодно и более рационально распределять финансы, не поддерживая нерадивых и ленивых. Логика простая, как мычание: базовая зарплата не должна быть значительной, мало того — она должна быть ничтожной, а основную часть прибытка ученые должны получать за конкретные достижения, дабы не бездельничать. Заодно и какие-то денежные средства можно сэкономить. Показательно, что поручение по разработке нужных мер было дано верховной властью в ноябре 2009 года не только министру образования, но и министру экономического развития и торговли. Причины для такого решения были  серьезными, а цели — как будто бы благими. Как заметили авторы статьи «Что делать с индексом цитирования?», «в российской ситуации, когда организовать полноценную научную экспертизу зачастую достаточно сложно, в качестве временного средства можно использовать формальные критерии. Действительно, в настоящее время никакие научные регалии (вплоть до докторских степеней и членства в Академии наук) не гарантируют высокого научного уровня потенциального эксперта: докторами наук порой становятся люди без публикаций в нормальных рецензируемых журналах, а в члены РАН иногда избираются (даже в области естественных наук!) ученые, чей индекс цитирования не превышает 20. Если в ряде научных направлений еще сохраняются дееспособные сообщества, то во многих других направлениях специалистов мирового уровня очень мало, а то и вовсе нет. При этом внешние признаки научной активности — статьи, диссертации, монографии — вполне могут наличествовать»^[19].

Соображения отчасти верные. Хотя уже оговорка о наукометрии как о «временном средстве», не заменяющем «полноценной научной экспертизы», которую почему-то организовать «зачастую достаточно сложно», рождает сомнения насчет плодотворности всего проекта. Во-первых, если не стараться создать систему подлинной научной экспертизы, а покамест ограничиться временными мерами, то с какой стати такая система сложится и не станут ли временные критерии оценивания постоянными? Во-вторых, наукометрия тем самым если и признается зеркалом, отражающим положение дел в науке, то довольно-таки кривым и мутным. 

Михаил Гельфанд, Евгений Онищенко и Сергей Попов полагают: «В таких условиях библиометрические показатели (в частности, индекс цитирования — citation index), извлекаемые из общепризнанных международных баз данных, являются мощным инструментом при экспертной оценке работы отдельных ученых и научных коллективов, в первую очередь для естественных наук. Они позволяют также независимо контролировать результаты экспертизы. Однако следует понимать, что эффективное применение этого инструмента требует как тщательно разработанных процедур и регламента, так и учета мнения квалифицированных специалистов». Но если формализованные количественные критерии дают объективные результаты, то при чем здесь мнение «квалифицированных специалистов» и как одно с другим будут соотноситься?

Но главное: насколько можно качество померить в количественных данных. Не являются ли такие попытки подобием измерения температуры в сантиметрах или граммах? Одним из признаков научной эффективности принято считать так называемый импакт-фактор — показатель цитируемости того или иного научного журнала, в соответствии с которым они разделены, как уже было сказано, на четыре группы-квартили. Чем выше импакт-фактор журнала, тем якобы ценнее опубликованная в нем работа. Все, однако же, на самом деле не так просто. Ведь импакт-фактор — «это простое среднее, выводимое из распределения цитирований некоторой совокупности статей в журнале. Среднее улавливает только небольшое количество информации об этом распределении и является довольно грубой статистикой. Кроме того, при оценке журналов с помощью цитирований обнаруживается много сопутствующих факторов, так что любое сравнение журналов по импакт-факторам требует большой осторожности. Использовать лишь только импакт-фактор при оценке журнала — это все равно что при оценке здоровья человека учитывать только его вес»^[20]. Кроме того, связь между статусом журнала и его импакт-фактором, по крайней мере в отечественной практике, не всегда ясна. Так, например, всего лишь восемь лет назад учрежденный журнал Института мировой литературы РАН «Studia Litterarum» почти в одно мгновение вошел в международные базы Web of Science (раздел ESCI) и Scopus и в RSCI — российскую базу данных, созданную на основе Web of Science, оказался в первом квартиле. «Studia Litterarum» — безусловно достойный журнал, но такой стремительный взлет поражает воображение. Аналогичный случай — сборник «Жанры речи», ставший журналом только в 2012 году, но довольно быстро угнездившийся в верхней четверти рейтинга. Такое движение вверх не было бы удивительным, если бы не трудные судьбы некоторых других журналов. Для сравнения: такой известный журнал, как выходящее с 1992 года «Новое литературное обозрение», еще в 2022 году числился во втором квартиле и только годом позже перебрался в первый. Тот же случай — с журналом «Вестник Московского университета. Филология»^[21].

Но самое существенное не это — импакт-фактор журнала не характеризует непосредственно качество, научный уровень каждой из опубликованных в нем статей. Допустим, из некоего количества статей в каком-то периодическом издании часть цитируется от 50 до 100 раз, а часть — ни разу. Импакт-фактор издания, ясное дело, будет высоким. Но что это скажет о его отдельных публикациях? Перед нами пример пресловутой средней температуры по больнице.

Панацеей, казалось бы, могло бы быть использование импакт-фактора в сочетании с индивидуальным индексом цитирования и с так называемым индексом Хирша, или h-индексом — показателем соотношения количества работ конкретного ученого и числа цитат из них^[22]. В России он в качестве средства оценивания научной деятельности пока не применяется: его заменяет система баллов, учитывающая статус журналов, в котором были опубликованы работы. Но и внедрение индекса цитирования и h-индекса в качестве контрольно-измерительных инструментов проблему объективной оценки не решает. Во-первых, возможна возгонка этого индекса благодаря сговору между учеными-коллегами (я цитирую тебя, а ты — меня)^[23]. Ведущий научный сотрудник Института государства и права РАН доктор юридических наук Павел Скобликов заметил: «…увязка наукометрических показателей с материальными и нематериальными благами породила накручивание как индекса цитируемости (например, путем договорного либо принудительного цитирования), так и импакт-фактора (численный показатель цитируемости статей, опубликованных в данном научном журнале). Механизм этих накручиваний нередко носит коррупционный характер. Неудивительно, что встречаются персонажи, не предъявившие в науке каких‑либо серьезных достижений, но их индекс Хирша зашкаливает!»^[24] Во-вторых, и это более важно, как любой количественный показатель, индекс не различает глухих «дежурных» ссылок и развернутых цитат, случаев согласия с частными наблюдениями автора и примеров солидаризации с его концепциями и идеями и их творческого развития. От таких случаев окажутся неразличимы примеры убийственной критики, направленной против псевдонаучных построений. Так, работы математика А. Т. Фоменко и компании по пресловутой «новой хронологии», пересматривающие всю картину мировой истории, стали предметом скрупулезного критического анализа в работах ряда известных историков: концепция была разнесена в щепки, но ее творцы тем самым удостоились далеко не нулевого индекса цитирования. Кроме того, индекс цитирования зависит от множества привходящих факторов: известности автора, известности издания, в котором опубликована работа, возможности свободного доступа к журналу и этой работе в интернете, в том числе размещению или отсутствию публикации в РИНЦ или в Google Academia. Кроме того, количество и цитируемость исследований в разных науках в принципе неодинаковы и публикации в относительно узких и специальных областях той или иной науки будут заведомо проигрывать работам, относящимся к областям достаточно традиционным и более понятным для широкого круга ученых^[25]. В филологии исследования по стиховедению в этом отношении уступают работам по поэтике, а статьи, посвященные писателям первого ряда, даже отнюдь не блестящие, должны серьезно обогнать работы, в которых рассматривается творчество второ- или третьестепенных литераторов, какими бы серьезными и новаторскими те ни были. Имеются работы в нескольких филологических жанрах, приложение к которым и индекса цитирования, и индекса Хирша совершенно неприемлемо. Таковы подготовленный к изданию текст, комментарий или составление словарей: их цитирование по определению будет меньшим, чем работ, посвященных поэтике. При ссылках на текст — художественный, мемуарный, документальный — исследователи далеко не всегда упоминают публикатора, благодаря работе которого, иногда кропотливой и подвижнической, этот текст увидел свет. Комментарии удостаиваются упоминаний немногим чаще, а словари если и цитируются, то обычно без указания составителей, поскольку, как правило, в их составлении участвовал большой авторский коллектив. Между тем подготовленный текст (в частности, признаваемый каноническим), комментарии, словари образуют фундамент филологии. Наукометрия же их третирует. Как справедливо напомнил доктор филологических наук профессор РГГУ и ВШЭ Сергей Зенкин, «такая система недостоверна и несправедлива по отношению к тем ученым, которые по особенностям своего проекта не могут постоянно отчитываться за него промежуточными результатами (например, составляя научный словарь, нельзя публиковать отдельные его части в виде статей)»^[26].

Индекс Хирша совершенно неприемлем при сравнении труда ученых: «Представьте себе двух ученых, у каждого из которых есть по 10 работ и на каждую из них есть по 10 ссылок, но при этом у одного из них есть еще 90 работ, на каждую из которых ссылаются по 9 раз. Или, например, у одного ровно 10 работ, и на каждую из них ссылаются ровно по 10 раз, а у другого — ровно 10 работ, и на каждую из них ссылаются по 100 раз. Неужели кто-то и вправду будет считать этих людей эквивалентными?»^[27]

Использование индекса Хирша, как признали его умеренные приверженцы Михаил Гельфанд, Евгений Онищенко и Сергей Попов, на короткой временной дистанции бессмысленно: «…показатели, основанные на цитируемости, малопригодны для оценки успешности текущей научной работы.  В этом случае можно использовать число публикаций с учетом импакт-фактора журнала, количества соавторов, позиции в списке авторов и т. п.». Они отмечают: «Применение библиометрических показателей требует специфической осторожности. Кажущаяся простота численных индикаторов в комбинации со слабостью системы научной экспертизы в России создает искушение полностью заменить библиометрией экспертную оценку. Свести оценку результативности научной работы к одному — „международно признанному” — числу, что может быть проще и удобнее для чиновника? Как показывают исследования ряда специалистов в странах, где такая тенденция сильна… это неправильный подход. Библиометрические показатели должны использоваться не столько сами по себе, сколько в качестве элемента экспертной оценки: индекс цитирования — хороший слуга, но плохой хозяин. Кроме того, следует учитывать особенности структуры цитирований в различных областях науки, что часто проще делать в „ручном режиме”». В качестве инструмента, дополняющего оценку деятельности ученых или научных коллективов по библиометрическим показателям, они предлагают экспертизу, оговаривая: «…в регламентах экспертизы следует предусмотреть требование к эксперту явно обосновывать случаи существенного расхождения выставляемых оценок с библиометрическими показателями». Однако при этом остается неясным, как библиометрия в подобных случаях будет соотноситься с заключением эксперта: останется ли решение за цифрами или за словом. На практике, например, в МГУ при перезаключении контракта с преподавателем, если количество баллов, характеризующих его педагогическую нагрузку и научную работу, не достигает норматива, решающей оказывается экспертное мнение, наукометрические же показатели обесцениваются.

Как уже было сказано, в качестве практического показателя оценивания научной деятельности ни индекс цитирования, ни индекс Хирша пока в России не приняты. Если пытаться их внедрять, то необходимо, как минимум, ввести в базу для расчетов сборники и монографии, а также определить в баллах значимость публикаций с учетом индекса цитирования как коэффициента, установить весомость в баллах докладов на конференциях и прочего. Можно было бы учитывать индексы цитирования в соотношении с импакт-факторами как цитируемого, так и цитирующего изданий. Участие в больших научных проектах наподобие подготовки собраний сочинений или словарей могло бы также оцениваться в баллах, чтобы занятые в них исследователи не оказались бы ущемленными в сравнении с остальными. (Впрочем, такие проекты обычно поддерживаются научными грантами.) Только в этом случае наукометрические данные будут показательными. Но лишь с формальной стороны.  

Отдельный вопрос — это качество баз данных. Российский индекс научного цитирования, например, стал в этом отношении предметом многочисленных нареканий: разница в показателях цитирования одного и того же ученого между РИНЦ и, например, международной базой Web of Science бывает огромной — и отнюдь не в пользу российской базы данных. Так, по свидетельству Михаила Гельфанда, Евгения Онищенко и Сергея Попова, цитирование Нобелевского лауреата физика Жореса Алферова в РИНЦ уступает Web of Science в 38 раз!

Выплата надбавок и премий в соответствии с данными о количестве публикаций в изданиях, признанных авторитетными, и докладов на международных и всероссийских конференциях, как это принято в МГУ, или в соответствии с аналогичными показателями результативности научной деятельности (ПРНД), как это установлено в Академии наук, — процедура, относительная справедливость которой несомненна. (Лично автор этих строк материально от нее только выиграл.) Но именно относительная: премируется количество, а не качество публикаций. Работа, содержащая подлинное открытие, или журнальный текст, в котором в лучшем случае встречаются лишь проходные мелкие наблюдения, по этой методике будут оценены одинаково, независимо и от результатов, и от затраченного труда. Кроме того, поскольку, например, размер премии или надбавки по ПРНД зависит от квартиля соответствующего журнала, ученый оказывается в получении такой выплаты ограничен не зависящими от него причинами: портфели журналов, тем более принадлежащих к первому квартилю, не могут быть пустыми: напротив, они переполнены статьями претендентов. Существуют реальные ограничения на количество публикаций одного автора в научном журнале в течение года: обычно одна или две, не больше.

Но более существенно другое. Принятая методика вознаграждения ученых за их труд исходит из ложной презумпции, что решающим фактором их плодотворной работы является материальный интерес. Я далек от представления всех ученых подвижниками-бессребрениками, увлеченными одной идеей. Но тем не менее их мотивация обычно действительно иная. Ни у себя, ни у большинства знакомых ученых я не заметил взрывного роста числа публикаций после внедрения стимулирующих надбавок и премий: прежде писали и печатали бесплатно (иногда, особенно монографии, даже за свой счет), теперь за это еще и дополнительные деньги получают.

Между тем у новой системы есть серьезный изъян, о котором точно высказался Сергей Зенкин: «Такая система порождает вал халтурных псевдопубликаций „для отчета”, бессмысленно засоряющих научно-информационную среду; она побуждает исследователей отказываться от долгосрочных фундаментальных проектов (например, монографических) ради сиюминутных и легковесных задач.

Такая система мелочного контроля ведет к тому, что наука теряет широкое дыхание, утрачивает горизонт планирования.

Такая система заставляет ученых работать плохо, а это худшее, что может делать администрация со своими сотрудниками. И она должна быть серьезно пересмотрена».

Вопрос только в том, будет ли. Усиление контроля и отчетности в науке, как и в любой другой сфере деятельности, из средства способно неизбежно превратиться в самоцель. А формализованная отчетность — мечта бюрократа.

Можно согласиться с предложениями, высказываемыми и Михаилом Гельфандом, Евгением Онищенко, Сергеем Поповым, и Сергеем Зенкиным об оправданности ограниченного применения библиометрии — при заключении долгосрочного контракта с ученым или при подаче и рассмотрении заявки на грант: в обоих случаях можно было бы требовать некоторых минимальных показателей. Ограниченность этого инструментария несомненна. Я отнюдь не идеализирую положение вещей в российских, а прежде в советских гуманитарных науках до введения наукометрии: количество мусора в них было немалым. (В советских — прежде всего по идеологическим причинам.) Но ни к каким научным успехам внедрение количественных критериев само по себе отнюдь не приведет: вопреки строкам Николая Гумилева, числа не настолько «умные». Перефразируя поэта: одна статья «небольшая» может быть «томов премногих тяжелей». Желательным минимальным условием, способным обеспечить постоянную научную работу, были бы базовые достойные зарплаты в академических институтах и в университетах, что и освободило бы сотрудников от поисков подработок, и отчасти ограничило возгонку библиометрических показателей ради получения надбавок и премий. Несомненно, стоит развивать систему грантов, в том числе — в случае, например, с большими научно-исследовательскими университетами — грантов внутренних. (В случае же с внегрантовым финансированием таких проектов необходимо выработать особые критерии оценки, хотя бы даже и в баллах.) Можно возразить: достаточно высокие зарплаты — это дело затратное, а КПД от него не очень велик: порой в такой системе вознаграждается не труд, а безделье и леность. Но наука и образование — вообще дело затратное и в финансовом отношении, особенно в близкой перспективе, часто выглядящее неблагодарным.