В последнее время интерес к разработке методологии оценки результативности научной деятельности увеличивается во всем мире. Примером тому может служить выполненный в 2013 году организацией RAND Europe проект для ассоциации американских медицинских колледжей [17].

Разработки подобных методологий ведутся в ряде российских ВУЗов (ВШЭ, МГУ), организациях, осуществляющих мониторинг программы «5–100» [10, 14].

В настоящее время можно констатировать необходимость создания развитой системы для оценки результативности научной деятельности и рейтинга на уровне медицинского вуза (далее организация).

Объективными предпосылками выполнения проектирования системы являются [1, 2, 5, 7, 8, 12]:

• конкуренция за государственное финансирование (число исследований растет, доступные бюджеты уменьшаются);
• конкуренция за ключевые позиции в университетах также растет;
• необходимость контроля затрат на исследования и рентабельности инвестиций;
• необходимость доказательства качества исследований в вузе (для привлечения новых студентов, новых научных сотрудников, инвестиций).

Как результат – организация нуждаются в объективных данных для оценки медицинской науки, для принятия решений о дальнейшем развитии [3, 4, 6,].

Проект направлен на технические решения по созданию системы оценки результативности научной деятельности и рейтинга организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал) в индексах научного цитирования РИНЦ и SCOPUS.

Рабочая гипотеза исследования: формализация измерений по набору показателей публикационной активности организации и авторов, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных.

Цель исследования – обоснование подходов к проектированию аналитической системы оценки результативности научных исследований и рейтинга организации на принципах стандартизации технологий и иных технологических решений, систематизированных для обработки с помощью программы ЭВМ.

Задачи исследования:

1. Формирование базы данных организации по совокупности систематизированных данных научных публикаций в РИНЦ и SCOPUS и ее государственная регистрация.

2. Научное обоснование и разработка полезной модели оценки научной деятельности и рейтинга организации и авторов по совокупности существенных признаков, влияющих на результат, и относящейся к программному устройству.

3. Разработка программы ЭВМ для получения результата и построения аудиовизульных отображений.

Методы, которые будут использоваться для решения задач проектирования: системный подход и системный анализ, организационное моделирование, тестирование [13, 16].

Основные результаты реализации проекта направлены на:

• формирование и стабилизацию базы данных организации по полному массиву публикаций;
• построение модели и разработку автоматизированной системы рейтинговой оценки результативности научно-инновационной деятельности;
• разработку программы развития научного потенциала организации (положение об аттестации НПР, положение о материальном стимулировании, формирование дорожной карты);
• формирование системы индикаторов публикационной активности для аттестации научно-педагогических работников;
• создание перечня рекомендуемых авторитетных журналов для научных публикаций и их ранжирование.

Значимость ожидаемых результатов реализации проекта для организации заключается:

• в объективизации оценки научно-инновационной деятельности по совокупности индикаторов, влияющих на конечный результат;
• в создании системы инновационного менеджмента и программы развития организации.

К приоритетам научных исследований и разработок следует отнести [9, 11, 15]:

• разработку метрик индекса цитирования и позиционирования автора и организации по показателям продуктивности, наблюдаемым и ожидаемым показателям воздействия;
• разработку методики расчета интегрального показателя (рейтинга) научного журнала в рейтинге РИНЦ, гармонизированного с показателями международных индексов цитирования SCOPUS;
• разработку системы рейтинга авторов и организации по набору нормированных и средних значений параметров оценки;
• разработку технологии организации электронного репозитария публикаций для оптимизации управления организацией.

Подходы, которые будут использоваться для реализации технологических решений:

На I этапе:

• научная постановка задачи, которая содержит формулировку проблемы, цели и рабочую гипотезу исследований;
• изучение лучших российских и международных практик по созданию систем для оценки результативности научной деятельности организаций;
• формирование набора библиометрических показателей, которые будут включены в алгоритмы обработки данных. Предполагается использование как существующих показателей в наукометрических системах РИНЦ и SCOPUS, так и разработка на их основе интегральных мультикритериальных индикаторов;
• для публикаций сотрудников университета из журналов, индексируемых в базе данных SCOPUS, предлагается учитывать квартиль журнала в его предметной рубрике, показатели SJR и SNIP2;
• для публикаций из журналов, индексируемых в РИНЦ, предлагается учитывать вхождение журнала в «ядро РИНЦ» (тысяча лучших российских журналов; данный список в данный момент находится в разработке), значение интегрального показателя Science Index для научного журнала и другие;
• для данных из обеих систем предполагается проведение нормирования по цитированию (среднему и/или медианному) в рамках предметной области;
• для дополнительного ранжирования журналов возможно проведение экспертного опроса. На основе ее результатов предлагается также сформировать «стоп-лист» журналов, публикации в которых не будут учитываться при расчете результативности научной деятельности. Создание такого списка журналов будет иметь ряд позитивных последствий для университета: концентрация усилий сотрудников на публикациях в более сильных журналах, повышение имиджа университета.

На II этапе:

• формирование и стабилизация базы данных в РИНЦ по публикациям авторов, структурных подразделений, научной организации, публикаций в научных журналах;
• разработка полезной модели и алгоритма рейтинга организации по темпоральным индикаторам оценки, проверка по критериям «надежность», «валидность», «адекватность»;

На III этапе:

• разработка программы ЭВМ для обработки полного массива публикаций, относящихся к динамическим объектам (автор, научная группа, научная организация, научные журналы).

Новизна проекта заключается:

• в соответствии полезной модели условию патентноспособности «новизна» по условиям промышленной применимости и новизни совокупности существенных признаков, влияющих на конечный результат (отсутствие сведений об идентичном техническом решении);
• в использовании методологии темпорального анализа индикаторов для произвольного массива научных публикаций во взаимосвязи с описанием динамических объектов (автор, группа, организация, научные журналы);
• в разработке адекватной измерительной шкалы (шкала наименований, порядков, интервалов, отношений и их модификации), при этом при построении агрегативных показателей следует учитывать информационные различия в шкалах базовых показателей.

В рамках данного проекта планируется создание соответствующей мировым стандартам аналитической системы оценки результативности научной деятельности в научной медицинской организации с перспективой внедрения в других научных медицинских организациях страны (впервые в России).

Заключение

1. Научно обоснованы задачи развития проекта «Разработка аналитической системы оценки результативности научной деятельности и рейтинга медицинского вуза» на принципах единой технологии стандартизации, нормирования и ранжирования показателей в рамках предметной области для повышения объективности и адекватности оценки, устойчивости к изменениям данных.

2. Показано, что наиболее перспективным направлением в решении комплекса задач проекта является разработка модели, формирование набора библиометрических показателей, их алгоритмизация, разработка на их основе интегральных мультикритериальных индикаторов, применяемых для анализа публикаций автора, публикаций научной организации, публикаций в научном журнале.

3. Разработаны требования к выбору показателей оценки результативности научной деятельности: измеримые и достоверные данные, достижимые и предсказуемые результаты, с акцентом на действенность, продуктивность и эффективность.

4. Разработка аналитической системы на основе стандартизованных методов позволит провести сравнительный анализ результативности научной деятельности между подразделениями, научными группами, дисциплинами как внутри медицинского вуза, так и между медицинскими вузами в контексте стратегических решений развития и распределения ресурсов.