ЛЕЙДЕНСКИЙ МАНИФЕСТ ДЛЯ ИССЛЕДОВАНИЯ МЕТРИКИ
https://www.google.com/url?q=http://www.leidenmanifesto.org/translations.html&sa=D&source=hangouts&ust=1535749556656000&usg=AFQjCNHbeytFngw4YVD5jxHNvNJxGh3GmQ Десять принципов
1. Количественная оценка должна дополнять качественную, экспертную оценку. Количественные измерения могут уравновесить возможное предубеждение перед экспертным рецензированием (peer review) и упростить обсуждение. Они должны усиливать экспертное рецензирование, поскольку трудно судить коллег, не владея спектром необходимых сведений. Тем не менее, специалисты, проводящие оценку научной деятельности, не должны следовать соблазну переложить принятие решений на числа. Индикаторы – не замена информированному суждению. Каждый сохраняет ответственность за свою оценку.
2. Сопоставляйте научную деятельность с исследовательскими задачами организации, группы или ученого. Цели исследовательской программы должны быть описаны в начале работы, и индикаторы, используемые для оценки научной деятельности, должны четко соответствовать этим целям. Выбор индикаторов и пути их использования должны принимать во внимание широкий социально-экономический и культурный контекст. У ученых разные научные задачи. Исследование, сдвигающее границы научного знания, отличается от исследования, сосредоточенного на поиске решений общественных проблем. Экспертная оценка может быть основана не только на академических идеях о научных достижениях, но и принимать во внимание достоинства, важные для политических решений, промышленности или общества. Ни одна модель оценки не применима ко всем контекстам.
3. Отстаивайте научное качество в исследованиях, важных для того или иного региона. Во многих частях мира высокое качество научного исследования приравнено к публикациям на английском языке. Испанское законодательство, к примеру, утверждает желательность публикаций испанских ученых в журналах с высоким импакт-фактором. Импакт-фактор рассчитывается по расположенной в США и все еще в основном англоязычной базе Web of Science. Такого рода предубеждение создает особые проблемы в общественных и гуманитарных науках, где исследования в большей степени регионально и национально обусловлены. Многие другие дисциплины также имеют национальное или региональное измерение – например, эпидемиология ВИЧ в Африке южнее Сахары. Этот плюрализм и общественная значимость могут подавляться в пользу написания текстов, которые бы представляли интерес для «сторожей» высокого импакт-фактора – англоязычных журналов. В Web of Science широко цитируют тех испанских социологов, которые работают на абстрактных моделях или изучают данные по США. Теряются характерные черты работы тех социологов, чьи испаноязычные статьи имеют высокий импакт-фактор, с такими темами, как местное рабочее законодательство, здравоохранение для пожилых семей или занятость иммигрантов[4].
Наукометрия, основанная на высококачественной не-англоязычной литературе, поможет определить и вознаградить высокий научный уровень в исследованиях, значимых для конкретных регионов.
1 (4). Сохраняйте сбор данных и аналитические процессы открытыми, прозрачными и простыми. Создание баз данных, требуемых для оценки, должно четко следовать определенным правилам, установленным до завершения оцениваемого исследования. В последние десятилетия это правило было обычной практикой среди академических и коммерческих групп, создававших методологию библиометрической оценки. Эти группы публиковали свои протоколы в рецензируемой литературе. Такая прозрачность делала возможным тщательную проверку. Например, в 2010 г. общественное обсуждение технических качеств одного важного индикатора, используемого одной из этих групп (Центром изучения науки и технологии в Лейденском университете в Нидерландах) привело к пересмотру расчета этого индикатора[5]. Коммерческие организации, которые недавно начали заниматься подобной деятельностью, должны отвечать тем же стандартам; никто не должен соглашаться с существованием «машины для оценки» в черном ящике.
Простота – достоинство для индикатора, поскольку расширяет прозрачность. Но грубо упрощенная наукометрия может искажать результаты (см. принцип 7). Эксперты, занимающейся оценкой, должны стремиться к балансу – простым индикаторам, соответствующим сложности исследовательского процесса.
1(5). Позволяйте оцениваемым исследователям проверять данные и анализ. Чтобы обеспечить качество данных, все исследователи, включенные в библиометрические подсчеты, должны получить возможность проверки верного определения их научных результатов. Каждый, кто руководит процессами оценки или занимается ими, должен обеспечивать правильность данных через самопроверку или проверку третьей стороной. Университеты могут реализовывать этот принцип в своих информационноисследовательских системах, и именно он должен стать основным в отборе поставщиков этих систем. Чтобы получить точные, высококачественные данные, нужны время и деньги. Отведите на это средства.
2(6). Дисциплины отличаются друг от друга по практике публикаций и цитирования. Лучше всего составлять ряд возможных индикаторов и позволять дисциплинам выбирать среди них. Несколько лет назад группа европейских историков получила относительно низкий рейтинг в оценке, поскольку они писали больше книг, а не статей для журналов, индексируемых Web of Science. Этим историкам не повезло – они работали на департаменте психологии. Историкам и обществоведам важно, чтобы в подсчет их публикаций входили книги и литература на национальных языках; специалистам по информатике нужно, чтобы учитывались доклады на конференциях. Количество цитат зависит от дисциплины: математические журналы с наивысшим рейтингом имеют импакт-фактор около 3, а такие же журналы по клеточной биологии – около 30. Требуются нормализированные индикаторы, и наиболее убедительный метод нормализации основан на процентилях: каждый текст оценивается на основе процентиля, к которому он принадлежит в распределении цитат в своей дисциплине (к примеру, верхние 1%, 10%, 20%). Одна высокоцитируемая публикация несколько улучшает положение университета в рейтинге, основанном на перцентильных индикаторах, но может вознести университет с середины на самый верх рейтинга, разработанного на средних показателях цитирования[6].
1(7). Основывайте оценку отдельных исследователей на качественной оценке их резюме. Чем вы старше, тем выше ваш h-индекс, даже если вы больше ничего не публикуете. Hиндекс отличается по дисциплинам: максимум у ученых в области наук о жизни составляет около 200, у физиков – 100, обществоведов – 20–30[7]. Он зависит от базы данных: есть исследователи, чей h-индекс составляет около 10 в Web of Science, но 20–30 в Google Scholar[8]. Чтение и оценка работы исследователя куда важнее, чем опора только на один показатель. Даже в сопоставлении больших групп ученых наилучшим подходом будет тот, где принимается во внимание больше сведений об уровне знаний, опыте, деятельности и влиянии отдельного исследователя.
2(8). Избегайте неуместной конкретности и ложной точности. Научно-технологические индикаторы подвержены концептуальной двусмысленности и неопределенности, так что требуют четких постулатов, с которыми не все соглашаются. К примеру, долго обсуждалось значение подсчетов цитат. Итак, лучше всего использовать разнообразные индикаторы, чтобы обеспечить более убедительную и плюралистичную картину. Если погрешности и ошибки можно квантифицировать, например, через показатель величины ошибки («усы»), то такие сведения должны сопровождать публикацию показателей индикаторов. Если это не возможно, то те, кто подсчитывают индикаторы, должны по крайней мере избегать ложной точности. К примеру, журнальный импакт-фактор публикуется с тремя десятичными знаками, чтобы избежать совпадения показателя. Тем не менее, если принять во внимание концептуальную двойственность и случайную изменчивость подсчетов цитат, нет смысла различать журналы на основе очень маленького различия в импакт-факторе. Избегайте ложной точности: гарантирован только один десятичный знак.
3(9). Признавайте системное воздействие оценки и индикаторов. Индикаторы меняют систему через те стимулы, которые они устанавливают. Это воздействие нужно предугадывать. Это означает, что набор индикаторов всегда предпочтителен – использование лишь одного создаст дух азартной игры и сместит цель (целью станет показатель). Например, в 1990-е гг. Австралия финансировала университетские исследования на основе формулы, в основном построенной на количестве материалов, опубликованных организацией. Университеты могут подсчитать «стоимость» материала в рецензируемом журнале; в 2000 г. она составляла 800 австралийских долларов (около 480 долларов США в том году) в финансировании исследований. Предсказуемо, что число материалов, публикуемых австралийскими учеными, выросло, но размещаться они стали в менее цитируемых журналах, что позволяет сделать предположение о падении качества статей[9].
4(10). Регулярно подвергайте индикаторы тщательной проверке и пересмотру. Исследовательские задачи и цели оценки меняются, и с ними развивается и исследовательская система. Когда-то полезная наукометрия становится неадекватной, но возникает новая. Системы индикаторов нужно пересматривать и порой менять. Поняв последствия своей упрощенной формулы, Австралия в 2010 г. ввела более сложный показатель – инициативу «Исследовательское превосходство для Австралии», которая делает акцент на качестве
Отправлено: 30.08.18 18:07. Заголовок: ЛЕЙДЕНСКИЙ МАНИФЕСТ ДЛЯ ИССЛЕДОВАНИЯ МЕТРИКИ
