«Наука в Сибири» ЕГО ВЕЛИЧЕСТВО РЕЙТИНГ -- ГОЛЫЙ КОРОЛЬ
Э.ЕГАНОВ,
В Объединенном институте геологии, геофизики и минералогии (ОИГГиМ СО РАН) уже несколько лет проводятся подсчеты рейтинга научных сотрудников по пятилетиям. Учитывается количество публикаций и цитирования опубликованных работ субъекта. Вроде бы -- дело полезное; обосновывающее оценку результатов научной работы. Однако резко доминирующая часть сотрудников института к этой акции относится отрицательно, поддерживается же небольшим числом "передовиков" списка по сумме баллов.
Почему же так? Ведь оценка труда ученого по количеству публикаций практикуется давно, несмотря на ряд общепризнанных недостатков. Против этого никто не возражает, если слово "публикация" отождествлять с понятием "удачно завершенное исследование". К сожалению, над этим делом всегда витает мысль -- "числом поболее, ценою подешевле". Индекс же цитирования как будто и должен определить истинную цену проделанному.
Инициаторы подсчета рейтинга научных работ исходят из балльности трудов по "импакт-фактору" (ИФ), определяемому справочником Гарфилда (SCI). Не будем здесь вдаваться в его описание (это сделано в газете "Наука в Сибири", N 17, 1997 г.). Отметим только, что справочник SCI ранжирует прежде всего "вес" не самих публикаций, а "вес" журналов, выражаемый интересом к публикациям на их страницах (или же ожиданием интереса) по сумме случаев цитирования (упоминания) этих статей. Не надо особо напрягаться, чтобы сообразить, что определенный таким образом "вес" идентичен популярности источника или темы, им затрагиваемой. Отождествлять это с научным весом следует лишь очень осторожно. Об этом говорит уже то, что "импакт-фактор" журналов непостоянен, может меняться из года в год. Поступили статьи особо интересные той или иной научной сфере, или же повлияло нечто, лежащее за пределами науки -- "импакт-фактор" повысился, возрос "престиж" журнала. Нет таковых -- ИФ понижается, и ваша блестящая статья получит заниженную оценку, если подоспела в этот момент. Лишь потом она повысит ИФ -- уже для других, которые могут быть слабее вашей. И их авторы могут "без драки попасть в большие забияки".
"Импакт-фактор" ранжирования придуман прежде всего как реклама того или иного издания. Вот де, какие мы -- на наш журнал часто ссылаются; значит, мы не публикуем всякую белиберду, шлите свои статьи к нам, и всем будет хорошо. Прежде всего, конечно, самому журналу.
Забывается одно: количество ссылок на публикацию не совсем, а не редко и совсем НЕ показатель ее научной ценности. То есть это показатель "в том числе" и научной ценности, но прежде всего популярности темы, интересов аудитории и некоторых других качеств, которые могут не иметь отношения к науке. Например, к моде, оригинальности, соответствии ожиданиям, легкости восприятия и т.п. Можно привести немало примеров публикаций некоторых гипотез, методов, теорий, которые встречались с восторгом, переживали бум цитирования, подражания, "применения", а затем... выяснялась их несостоятельность. В геологии можно привести классический пример того, как высказанная в тридцатых годах ученым СССР гипотеза возникновения фосфатных руд была сразу подхвачена во всем мире и везде многократнейше цитировалась. Но оказалась ошибочной, как это установлено в последние годы. Ее первоначальный успех, державшийся около полувека, был определен ее "стройностью, простотой и элегантностью". Словом, популярность результата может далеко не соответствовать подлинно научной ценности.
В определение рейтинга по SCI вкрадывается и явная дискриминация отечественной науки. Передо мной -- рейтинг-лист журналов с их ИФ-ми в трактовке нашего ОИГГиМ. Конечно, высшие баллы присвоены наиболее известным и "солидным" журналам типа American naturalist, American journal of Science, Reviews of Geophysies и т.д. Все правильно. Но... по сравнению с ними ничтожны баллы даже ведущих отечественных журналов (в 5--10--15 раз ниже). Абсолютно не учтена специфика положения отечественного научного сообщества вообще. Сейчас мы находимся на задворках мировой науки по обеспеченности и по возможности попасть в число тех, чьи публикации зарубежные журналы, тем более ведущие, примут. Предполагается, если вы сделали-таки стоящую работу, ее тут же с радостью примут в Nature (высший ИФ). Ждите! Сын генерала вряд ли станет маршалом -- у последнего есть свои дети. Приходилось не раз слышать от солидных ученых, что зарубежные публикаторы редко принимают наши работы, не особенно интересуясь их значимостью. Надо иметь связи. Такое же отношение и к цитируемости наших работ, которые чаще всего "в упор не видят". Чтобы "увидели", -- требуется определенная заинтересованность в вас, а вовсе не стремление к бескорыстному распространению знаний. Нельзя уравнивать требования к рейтингу между "сильными мира сего" (или даже просто пробивными ребятами) и рядовыми сотрудниками.
В статье Ю.Ефремова "Российская наука в годину кризиса" (журнал "Здравый смысл", N 8, 31--49, 1998 г.) при обсуждении проблемы оценки качества научной работы (для конкурсов) признается целесообразность оценки по отношению числа работ к числу цитат. Но очень важно, подчеркивает автор, нормировка на публикуемость и цитируемость в данной области науки. Так, к примеру, "астрометрист может опубликовать один каталог после пяти или десяти лет работы, а в астрофизике пять публикаций в год -- нормальный результат". В нашей области -- геологии -- заметно существенное повышение цитирования аналитико-определительских работ. "Чтобы разобраться в тонкостях специализации, нужны серьезные усилия", -- пишет Ю.Ефремов (с.45). И далее: "все равно, отношение "публикация/цитата" не может быть единственным критерием... Известно, что и ошибочные работы могут широко цитироваться (о чем упомянуто выше -- Э.Е.), и ученые, занимающиеся узкой и не столь важной проблемой, могут щедро ссылаться друг на друга -- и т.д." (с.45).
Добавим, что цитирование может быть связано с работами дальних лет, не имеющими отношения к текущему и даже к предрейтинговому периоду.
Не менее значимыми, хотя и шутливыми предупреждениями о деле оценки работы ученых, являются высказывания в известном сборнике "Физики продолжают шутить" (М., "Мир", 1968 г., сс. 68--70, 183) и -- лучше не скажешь! Обратимся еще раз к упомянутому N 17 газеты "Наука в Сибири", 1997 г., где был помещен перевод статьи Альфреда Октавио из журнала The mathematical intelligencer (т.18, N 4, сс. 9--11). Автор, подробно разобрав "кухню" SCI, возражает против использования для оценки деятельности ученых этого показателя -- ИФ, о котором, как сообщено в комментарии к статье А.Октавио, профессор математики из Берлина сказал: "Главное предназначение SCI в том, чтобы продемонстрировать мировому сообществу лидирующее положение американской науки". А.Октавио писал о своей области -- математике; что тогда сказать нам -- геологам? Приводятся и слова редактора Nature: "Анализ ссылок -- это подход крохобора... Рекомендовать кого-либо, основываясь на списке ссылок на его многочисленные работы также неуместно, как рекомендовать его, основываясь на суммарном весе этих статей в граммах".
Очень важным обстоятельством является отношение к ранжированию публикаций по месту их помещения. В ОИГГиМ, например, отказано в учете тезисов, статей в сборниках, депонированных работ... Справедливость такого решения крайне сомнительна. Мы ведь живем, как говорят, в век информатики. Современные средства коммуникации, реферирования, компьютерного общения, Интернет уравнивают ценности информации любых источников. Все виды публикаций должны быть равноправны и равноценны для подлинного ученого, который заинтересован в информации, ищет ее, а не ждет, когда ему поднесут данные в привычном "блюдце-журнале", на родном языке. Принимать решение о селекции научных источников равносильно требованию учитывать на войне показания "языков" рангом не ниже, скажем, майора, а сведения, сообщенные пленным рядовым или лейтенантом, игнорировать. Ведь в научных работах широко используются и неопубликованные данные -- из личных или письменных сообщений; ссылки на такие данные равноправны со ссылками на опубликованные статьи. Информация имеет непреходящее значение, если она истинна, независимо от того, где и в каком виде она появилась.
Джон Бернал еще в 1960 г. вполне серьезно предлагал покончить с научной статьей как с формой научной информации. "Вполне возможно, -- писал он, -- что истинное назначение большинства научных статей не в том, чтобы их прочитали с пользой сведущие люди, а в том, чтобы дать краткое сообщение, тезис, цифру, факт...". Он настаивал на том, чтобы вместо объема в 15 стр. статья была краткой, не более двух страниц, то есть почти рефератом (Г.Кобланз. Проблема научной информации. В сб. "Наука о науке". М., "Прогресс", 1966 г., с.94--106). Мы же как раз такие сообщения-тезисы, например, отказываемся учитывать. А ведь тезисы порой важнее статьи, которая еще жди когда выйдет. Конечно, если ты член АН или с таковым в компании, то проблема ожидания смягчается, но остальным...
Другой несуразицей при определении рейтинга у нас является учет цитирования ваших работ только по указателю SCI, то есть только в журналах, входящих в ИХ список. Игнорируются ссылки в монографиях, в сборниках. И это -- при упомянутом праве использовать "письменное" (или устное) сообщение"!. А ведь упоминание в монографии -- что может быть престижнее!
Наконец, надо понимать, что научная общественность в Российской Федерации довольно прочно связана языковым барьером, отделяющим ее от англоязычного (и иного) мира, который, ко всему, не редко проявляет к русскоязычным работам -- скажем это вслух -- откровенное игнорирование, исключая, пожалуй, инструментально-аналитические материалы, если они-таки попались на глаза. Примеры переводных работ показывают, что за рубежом издавались преимущественно наши компилятивные работы, мало ценящиеся, исключая их дидактическое значение, у нас, но интересные тем, кто не знает русского языка. И еще -- издание за рубежом очень часто отражает не столько значимость данной работы, сколько предприимчивость автора, его связи или общественный вес; это же касается различий между местными и центральными изданиями.
Рейтинг ученого -- это значимость его результатов для других. Проблема такой оценки идентична "проблеме распознавания", которая пока с очень малым успехом осваивается наукой для гораздо более простых случаев, скажем, для геометрической или физической идентификации. В компьютеры вводятся колоссальные массивы данных, но стабильности результатов не достигнуто. Здесь же мы пытаемся достичь гораздо более деликатного вывода на основе весьма немногих и чисто формальных показателей.
В преодолении трудностей распознавания наука пошла по пути отлаживания системы "человек--машина", по пути экспертных оценок. Став же на путь предлагаемого "рейтингового" анкетирования, легко представить себе, к примеру, ненужность комиссий по премированию: достаточно анкеты -- и простой "арифмометр" вынесет вердикт. Но понятно, что такое немыслимо, требуется экспертная оценка, учитывающая не только формальные параметры.
Заметим, качества ученого не могут проявляться непрерывно и систематически. Человек может сделать крупный вклад, обусловленный его индивидуальными качествами мыслителя, аналитика и т.п., но не может постоянно держаться на достигнутом уровне; неизбежны спады, хотя бы по причине накопления нового материала. Но присутствие его в научной организации необходимо, как необходимо наличие в любой популяции особей, имеющих жизненный опыт, пусть даже теперь и мало жизнеспособных по сравнению с другими. Существуют также ненавязчивые, "молчаливые" ученые, более занятые исследованием, которое может длиться годами, чем представительством, поездками, организацией публикаций, лекторским делом и т.д.
Надо понимать и то, что ученый в принципе не может работать с постоянной отдачей своего пикового уровня. Так работают текстильные фабрики и землеройные машины. Неизбежны перерывы, обусловленные не только накоплением данных, но и их "перевариванием", и это тоже может длиться долго. Формальное отсутствие публикаций в таких случаях может быть заменено отчетом, устным докладом, разъясняющими суть поиска. Процесс исследования зависит от огромного количества факторов и во многом независим от анализирующей их личности, если она, конечно, не занимается псевдодеятельностью. Да, бывает и так, что работа сделана, но по не зависящим от ученого обстоятельствам какое-то время не может выйти на страницы печати.
Толкая научных сотрудников к улучшению своего рейтинга, требуя этого по поминаемой здесь системе, надо думать о возможностях научных издательств принять и напечатать материалы всех страждущих. Конечно, скажут, -- печатаем лишь самых-самых... Но наука не может существовать только в элитном контингенте, без "серого фона". Требуется определенная "критическая масса", обеспечивающая "подъем надводной части айсберга". Строение науки подобно строению горной страны, где неизбежны предгорья.
Завершая рассуждение, следует сказать, что оценку по количеству публикаций, по цитированию не следует смешивать с оценкой работы личности. Здесь, конечно, немалая связь, но она ограничена. Вот например, лишь в середине пятидесятых годов была узаконена необходимость предваряющих публикаций для защиты по теме диссертации, количество же их не оговорено. Но согласимся, положа руку на сердце, что это -- излишество. Сущность представляемой работы, ее качество вполне можно оценить и без обращения к ранее сделанным публикациям. Этим вполне успешно занимаются оппоненты, ученые советы и аттестационные комиссии. Никому в голову не приходит, готовя отзыв на диссертацию или автореферат, определять цитируемость диссертанта. Главное -- содержание самой диссертации. И вполне обходимся безо всяких там SCI.
Введение рейтинговых оценок в персональном аспекте, особенно в эпоху нестабильного состояния страны и недофинансирования науки, можно сравнить с "рыночным подходом", в котором "рациональные законы рынка соседствуют с элементарной иррациональностью" (В.Константинов, А.Тимощук. Здравый смысл и новые утопии в России. Журн. "Здравый смысл", 1998 г., N 8. сс. 50--52). Такой подход стимулирует нездоровое соревнование, ловкачество, прожектерство, блат и "предпринимательство" в худшем смысле этого понятия. Все это -- в столь болезненно чувствительной сфере, какой является наука. И это при том, что, как считал Дж.Бернал, -- только крайне незначительная часть публикуемой научной информации действительно ценна и надежна.
Хочется закончить цитатой из статьи С.Рассадина "Красота, спасайся от мира" ("Новая газета", N 49, 8-XII-97 г.), посвященной проблемам культуры, которые весьма близки проблемам науки: "Рейтинг -- как цель, как критерий -- это... по пути ведущему вниз, в подвал; рейтинг, бурно растущий, -- это, как правило то, от чего человек нормальный должен шарахаться не меньше, чем вкладчик финансовой пирамиды от бешеного процента".
стр. |