trueresearch | Unsorted

Telegram-канал trueresearch - Русский research

19535

О науке и образовании - вид изнутри. !Рекламы и платного размещения нет! Чат: @trueresearch_chat Связь с автором: @RResearcherBot

Subscribe to a channel

Русский research

Осторожно, 18+. Смотреть со звуком.

Итоги последнего года (с небольшим) в научно-образовательной сфере от Олега Тинькова.

Читать полностью…

Русский research

Цитирования, метрики и жульничество - II

Теперь немного ближе к нашим реалиям. Итак, пусть ценность и смысл цитирований в науке искажены, но они попадают в различные KPI и неформально учитываются экспертами. Кто виноват, как жить и с чем бороться?

Нет сомнений, что создание ферм взаимного цитирования является лишь следствием неумеренного использования наукометрии в администрировании. В частности, следствием тупого транслирования показателей эффективности организации как целого на каждого отдельного сотрудника. В результате в вузах существуют гласные и негласные правила по цитированию сотрудников кафедры, факультета, местного вестника и т.п. В комментариях привели массу примеров на этот счёт, включая рекомендацию от научного отдела Горного университета (где и числится разработчик обсуждаемого сервиса поднятия хирша).

Да, административное давление очевидно, но это не снимает полностью ответственность с активистов накручивания цитат. Ведь кто-то продолжает работать честно, и им особенно неприятно на таком фоне.

Если переключаться на личную пользу от показателей цитируемости, то её влияние на получение грантов часто преувеличивают. Есть ощущение, что эта гонка — в большей степени выполнение KPI университетов и получение внутренних бонусов, плюс рост ЧСВ. Эксперт того же РНФ, конечно, обратит внимание на все показатели, но в заявке куда важнее публикации в хороших журналах за последние годы, успешная история предыдущих проектов, нормальный план работ и удача. Индекс Хирша тут скорее сыграет пороговую роль (как обсуждалось выше).

Вообще, лично меня гораздо больше беспокоит даже не эта борьба за KPI. Проблема в том, что формируются целые сообщества учёных (молодых и не только), для которых обстановка гонки за метриками является нормой. И которые уже искренне сравнивают учёных по индексу Хирша, а журналы — по импакт-фактору. Этот феномен заслуживает отдельного поста и не всё здесь так однозначно (ибо эти цифры кое-что да значат). Но сами учёные уж точно не должны становиться жертвами дворовой наукометрии. Например, нужно понимать, что высокая цитируемость вполне может признаком учёного из ареала "легкой науки", технического сотрудника на хорошем приборе или аспиранта в продуктивной группе, а низкая — специалиста в сложной фундаментальной области или полусекретного учёного. И много, очень много других возможных вариантов.

Что нужно делать для оздоровления ситуации? Если говорить о прямых накрутках, то административно искоренить их довольно сложно (взамен простых схем придут более изощренные) — тут возможно лишь уменьшение роли взломанных метрик. В целом куда правильнее создавать здоровую атмосферу в сообществе. Как минимум, необходимо называть вещи своими именами — чтобы жульничать с цитированиями было стыдно (например, как публиковать и защищать откровенный плагиат). Думаю, само озвучивание проблемы и напоминание о нормальной функции научных цитирований уже немаловажно.

А вообще дилемма рядового сотрудника всегда одинакова — пытаться менять правила в более справедливую сторону или выкручиваться в рамках действующей системы и по-максимуму использовать уязвимости для собственного блага. Совершенно очевидно, что стратегически правильнее поднимать вопрос об отмене неадекватных метрик, а не бежать за пачкой цитирований в РИНЦ. Это даёт шанс поработать ради дела, а не тратить жизнь на подгонку себя под новые показатели эффективности. Но это должно быть коллегиальным решением большинства, с чем возникают большие проблемы во многих аналогичных случаях.

Читать полностью…

Русский research

Пару дней назад я получил сообщение от профессора МИРЭА, доктора технических наук А.М.Романова. В нем он поднимает вопрос об этических границах при цитировании научных статей, который представляется довольно важным. С разрешения Алексея Михайловича привожу ниже сокращенный вариант его письма.

Сегодня мне случайно попалась статья, которая рекламировала новый сервис SciCite (https://habr.com/ru/articles/784242/ ). Прочитав ее, а также ознакомившись с их telegram-каналом, я, мягко говоря, ужаснулся.

По сути это автоматизированный сервис для создания ферм цитирования. Он позволяет одним ученым вывешивать объявления о тех работах, которые они хотят, чтобы другие процитировали, а другие получают виртуальную валюту за то, что цитируют эти "правильные" работы. И эту виртуальную валюту они могут тратить на то, чтобы просить цитировать нужные им работы. Более того, виртуальную валюту можно покупать, тем самым стимулируя цитировать свою работу за деньги.

По сути все это однозначно квалифицируется как манипулирование цитированием, которое прямо противоречит правилам COPE (Комитета по публикационной этике). Более того, сами авторы это прекрасно понимают и даже не скрывают.

В документах сервиса SciCite явно говорится, что взаимоцитирование молодыми учеными других молодых ученых не потому, что их работа достойна цитирования, а просто для того, чтобы разогнать друг другу показатели и получить грант - это хорошо, это называется ими «взаимодействие молодых ученых».

Можно было бы просто не обращать внимания на этот сервис, но он, очевидно, делает ставку на молодых ученых и аспирантов, рядом с которым может не оказаться наставника, который бы объяснил им, что так делать нельзя.

Что интересно, авторы проекта уже несколько преуспели в продвижении своих идей. Проект SciCite является победителем Всероссийского гранта Росмолодёжи, был отобран для участия в конкурсе «Лучший молодежный стартап союзного государства», презентовался в Сириусе на недавнем III Конгрессе молодых ученых. Я с трудом представляю, как проект по накручиванию цитирований может получить такую поддержку.

Читать полностью…

Русский research

В конце года не забывайте о главном

Читать полностью…

Русский research

Кратко о результатах опроса про зарплаты учёных и преподавателей

1) Можно оценить среднюю зарплату как 140% от средней и в Москве, и за её пределами (это очень разные суммы в рублях). Не так плохо, но указ про достижение уровня в 200%, судя по результатам, в большинстве мест выполняется методом перевода работников на доли ставки.

2) Менее очевидное: наша наука очень неоднородна. Существуют условные топ-15% учёных, которые в среднем выигрывают в условиях гиперконкуренции и получают достойное финансирование (чего они в большинстве, несомненно, заслуживают). Но они же зачастую формируют медийную картину, выступая лидерами мнений и спикерами, хотя не ощущают проблем большинства.

Да, на любую претензию можно привести в пример финансово и научно успешную лабораторию. Однако подвох в том, что при ограниченных ресурсах все не могут последовать её примеру и быть хорошо обеспеченными, одни лишь заменят других в правом столбике гистограммы.

Читать полностью…

Русский research

Выясняется, что Минобровский медийный рейтинг вузов (М-рейтинг) сделан ещё хуже, чем можно было ожидать.

Например, просмотры тупо суммируются по всем постам без учёта полного охвата: 100 постов по 100 просмотров оказываются равны 1 посту на 10 тысяч просмотров. Стоит подумать одну минуту и понять, что первое достигается постингом любой ерунды в канале "для своих" и охватывает только те самые 100 подписчиков, а во втором случае полный охват в сто раз (!) больше. Это никакие не тонкости, а очевидные из здравого смысла вещи.

Во-вторых, меня неоднократно просили подсветить в канале результаты М-рейтинга, и я каждый раз отвечал, что надо для начала вычистить из топа каналы с накрутками. Даже пояснял, как и на что смотреть в статистике, но ничего не изменилось. Таким образом, не только критерии неадекватны медийному влиянию, но и фальсификация входных данных игнорируется.

Не менее несправедливым выглядит сравнение вузов различного размера (и с различными бюджетами, уж простите) по одинаковым шкалам. Не надо быть семи пядей во лбу чтобы догадаться, что 30 000 студентов из университета А и 5000 студентов из университета Б сгенерируют в соцсетях вуза кратно отличающееся число просмотров и реакций при одинаковом качестве контента. Размер университета не может быть критерием эффективности работы пиарщиков.

Список можно продолжать, хотя и приведённого достаточно. Складывается впечатление, что авторы рейтинга не хотят вникать в его механику и не хотят знать формулы сложнее суммирования по столбцам и строкам. Возможно, они единожды официально утвердили показатели и теперь их сложно изменить. Но это всё отговорки, которыми нельзя жить уже не первый год.

Несчастный рейтинг был бы просто обидным недоразумением для университетских пресс-служб, если бы позиция в нём через различные KPI в конечном итоге не влияла на распределение финансирования и на репутацию ректора.

Читать полностью…

Русский research

Изи сайнс

У меня есть гипотеза, что в каждой отрасли знаний существует свой загончик "лёгкой науки". Признаки примерно такие: низкий порог вхождения, зашкаливающий уровень хайпа в докладах и статьях, замкнутость сообщества и высокая плотность сети цитирований, однообразие в постановке задач. По ощущениям, так бывает, когда в какую-то изначально перспективную область ринулись слишком много учёных (в том числе сильных), разобрались с основными действительно существенными вопросами и остались высасывать проблемы из пальца.

Причём такой тематический остров "изи сайнс" может быть вполне международным, иметь своих представителей в редакциях журналов, профильные конференции и тому подобное. Формально это успешные исследователи, которые хорошо публикуются и одобряют работу друг друга. Такой анклав непросто отличить от нормально развивающейся области, это всегда будет субъективно в какой-то мере. Однако я берусь утверждать, что феномен существует; более того, выбор пути "изи сайнс" происходит более или менее осознанно.

И, собственно, вопрос к подписчикам: а вы видите вокруг себя похожие области? Какие конкретно? Действительно интересно разобраться.

Читать полностью…

Русский research

Когда благодаришь рецензентов статьи за внимательное чтение рукописи, интересные комментарии и глубокие вопросы

Читать полностью…

Русский research

Успешный управленец в социальных сетях би лайк

Читать полностью…

Русский research

Президент России Владимир Путин подписал Указ «О развитии природоподобных технологий в РФ».

Это значимое достижение президента Курчатовского института Михаила Ковальчука. Природоподобие претендует на роль главного драйвера взрывного перехода к новому технологическому укладу.

ППТ – это вершина «эволюции». До них были нанотехнологии, которые затем через конвергентные процессы были определены как системные НБИКС-технологии.


/channel/scienpolicy/36772

Читать полностью…

Русский research

❗❗❗❗ Внимание всем❗❗❗❗

Магнитосфера нашей планеты несколько минут назад подверглась новому, ещё более сильному удару. Высокая геомагнитная активность, начавшаяся сегодня утром по московскому времени, стала отличным фундаментом для прибытия основного выброса корональной массы (буря + буря = усиленная буря). Мы ждали именно этот СМЕ, когда говорили об отрыве протурберанца с солнечной поверхности 3-го ноября. Теперь стало ясно, что именно он достиг Земли.

Текущие космические параметры являются сильнейший за последние 20 лет! Индекс BZ "вскочил" до отметки +44!!! Высокая вероятность очень сильной или экстремальной бури с ближайшие сутки - G4-5 (Кр8-9)!

Северное сияние в предстоящую ночь должно быть видно на всей территории России без исключения (Сочи, Кавказ, Владивосток). Дальний Восток и восточная Сибирь - готовьтесь к наблюдениям. У вас уже темно.

Будьте готовы к тому, что северное сияние с высокой долей вероятности можно будет увидеть в Москве над головой!

Мы следим за развитием событий!

Читать полностью…

Русский research

Телеграм-канал «Белгород №1» рассказывает, что сегодня преподаватели Белгородского госуниверситета (БелГУ) в возрасте 39+ получили следующее сообщение:
«Уважаемые коллеги! В рамках работы по омоложению кадров (для хорошего университетского отчета) руководство просит всех сотрудников профессорско-преподавательского состава старше 39 лет и имеющих полную ставку перейти на 0,5 ставки по основному месту работы с 01.11.2023 по 16.01.2024. Эти недостающие 0,5 ставки вы оформите по совместительству на смежной кафедре, а с 17.01.2024 оформить «обратный» договор на своей кафедре.
Нагрузка не меняется. Руководство заверяет, что ни в зарплате, ни в нагрузке изменений за этот период времени не будет. Вам надо подписать 3 приложенных договора, разумеется, если нет принципиальных возражений, и принести их в понедельник 30.10.2023
».

Преподаватели утверждают, что «на словах всех обязали в безоговорочном порядке подписать предложенные договоры, намекая на возможные последствия для отказавшихся».

🤔В БелГУ дали комментарий телеграм-каналу "Белгород №1" по этому поводу. Текст просто насквозь пропитан демагогией, поэтому не берусь его сокращать и привожу целиком.

«В рамках проекта "Развитие интеллектуального потенциала НИУ БелГУ" университет формирует систему наставничества и социальных лифтов для молодых сотрудников в возрасте до 39 лет. Для успешной реализации проекта сотрудники старше 39 лет становятся наставниками для младших коллег, делятся опытом, взаимодействуют с другими кафедрами, формируя необходимую междисциплинарность, для повышения эффективности работы коллективов.

Эти решения принимаются лично преподавателями и в целом коллективами кафедр с пониманием стратегий развития подразделений. В отдельных случаях кафедры перераспределяют нагрузку между собой, при этом у каждого сотрудника персонально она сохраняется в полном объеме. По истечении двух месяцев сотрудники кафедр-участников принимают решение — где сохраняется взаимодействие, а где требуется переход к другому формату или коммуникации с другими кафедрами.

Проект позволяет посмотреть на подготовку студентов со стороны преподавателей разных кафедр, даёт дополнительный импульс к развитию образовательных программ, а обучающиеся получают возможности приобретения нескольких квалификаций, дополнительных компетенций на стыке направлений кафедр и, как следствие, конкурентные преимущества на рынке труда.

Таким образом значительно возрастает степень вовлечения в общеуниверситетскую повестку всех структурных подразделений, формируются перспективные междисциплинарные команды, молодым сотрудникам открываются новые возможности роста и развития, а сотрудники старше 39 лет могут делиться опытом с бОльшим числом молодежи
».

😀Одним словом, «наши космические корабли бороздят Большой театр». А если коротко, похоже, в БелГУ с показателем «доля НПР в возрасте до 39 лет…» что-то не заладилось. Вот и придумали такую многоходовочку.

Читать полностью…

Русский research

Об итогах опроса про дефицит учителей. Да, это хайповая тема, но я считаю правильным писать об этом хоть каждый день, если есть шанс что-то изменить. За распространение спасибо Научной Изнанке.

Я намеренно выбрал форму вопроса, позволяющую оценить именно явный дефицит учителей в школе — такой, который приводит к систематическому отсутствию какого-либо предмета. Прекрасно понимаю, что есть и куда более серьезный неявный дефицит — например, когда один учитель тянет две ставки или ведёт не вполне профильный предмет, или когда размер класса приближается к 40 ученикам. Начнём с более простых вещей.

Итак, что показывает опрос? Во-первых, ситуация в Москве и Московской области (ожидаемо) намного лучше, чем в остальной России. Большинство федеральных чиновников, как вы понимаете, водят детей в школу именно здесь. Тем не менее, даже в столичном регионе есть проблемы: 15% участников опроса отмечают, что какие-то предметы пропадают более месяца, а ещё 8% — что какие-то дисциплины не преподаются более полугода.

В остальных регионах всё существенно хуже. Почти половина опрошенных (47%) отмечает, что у учеников систематически пропадают уроки по каким-либо предметам. Причём 31% говорят о перерывах длиной в месяц и более, 8% участников выбрали пункт "один предмет не преподаётся более полугода", и ещё 8% — "два и более предметов не преподаются более полугода". Замечу, мы говорим о выборке людей из научной и университетской среды, которые, как правило, контактируют с хорошими школами.

Да, это всего лишь опрос в телеграм-канале, но тенденция очевидна. И, кстати, я не вижу способа получить объективные данные по нехватке учителей помимо волонтёрских независимых опросов. Муниципальные органы власти, и далее все по цепочке до Минпросвещения, не видят этого дефицита, поскольку директорам школ крайне невыгодно показывать наличие вакансий. Нагрузку до последнего распихивают по имеющимся учителям, а новых ищут посредством сарафанного радио. Отсюда и берутся бодрые заявления местных управлений образованием о том, что "штаты всех школ укомплектованы".

Иными словами, из опроса следует, что в регионах значительное число школ сталкивается с сильнейшим дефицитом учителей, который уже невозможно скрыть перераспределением нагрузки, привлечением студентов или другими административными мерами.

Причину каждый может найти самостоятельно, изучив официальную статистику по средним зарплатам учителей в различных регионах. Затем можно прикинуть среднюю зарплату за одну ставку, а ещё — зарплату начинающего учителя без категории. Не знаю, что к этому можно добавить. Наверное, стоит ещё какой-нибудь конкурс придумать для повышения престижа профессии учителя.

Читать полностью…

Русский research

Подмена послания

Любому неприятно быть обманутым. Например, читателю неприятно, когда его пытается обмануть автор. Ниже я пишу о распространённом методе манипуляции в тексте, по сути, повторяя известные законы коммуникации и иллюстрируя их примерами из научно-образовательной сферы. Старый пост на близкую тему см. по ссылке.

Итак, что делает любое сообщение максимально раздражающим? Думаю, несоответствие формального и реального послания. Хрестоматийный пример: жена, говорящая мужу "а Сидоровы вообще-то уже два раза были на море в этом году". Очевидно, реальная цель коммуникации не в освещении жизни Сидоровых, а в жалобе (мы не были на море) или упрёке (ты не вывез нас на море).

Лично для меня подмена послания — это главный триггер в личных соцсетях ректоров, чиновников и, в особенности, юных карьеристов. Я имею в виду те самые посты, где автор вроде как сходил на стратсессию и обсудил что-то важное, но в реальности покрасовался перед начальством. Читаешь — пост по деловому мероприятию, наивно ожидаешь новостей и какого-то обсуждения по существу. Но видишь только регалии, фамилии и селфи. Такой пост кричит только об одном: смотрите, автор находится в одной комнате с важными людьми и разговаривает с ними! Высокоранговые люди жмут автору руку! Заметьте меня!

Мне неприятно осознавать, что человеку наплевать на суть дела, а интересны лишь правильные знакомства. Я автоматически делаю вывод, что автору вообще без разницы, что обсуждать и с чем бороться, главное, чтобы тусовка не бросила.

По этой же причине могут оставлять неприятное впечатление новостные посты некоторых университетов. Когда текст выглядит как новость, но на самом деле его целью является не информирование и не объяснение, а позиционирование организации. Вам не пытаются ничего донести, важно упоминание нужных трендов и слов-маркеров.

Подмена послания бывает и во вполне бытовых постах. Положим, ректор университета Петров сходил на художественную выставку. Он публикует фото картин и селфи на их фоне, кратко констатирует гениальность Дали, Моне или Пикассо. Формально говоря, он посетил музей и оценил серьезные произведения искусства. В реальности ему попросту нечего сказать про эти картины и он понятия не имеет, почему гениален художник. Единственный посыл — смотрите, я культурный, потому что я хожу среди картин! Я не хуже других! Вместо просмотра выставки можно подставить посещение филармонии или бег на 10 км, смысл не изменится.

Чтобы лучше понять цели этой извращённой коммуникации, надо ответить на вопрос — а кто составляет целевую аудиторию таких блогов? Формально — студенты, друзья, знакомые, коллеги; к ним относится внешний посыл. Но зачастую реальная целевая аудитория — это конкретный начальник, которому (возможно, неосознанно) и предназначен тот самый имплицитный посыл я в трендах, я спортивный, я в тусовке!

И последнее. На имплицитное сообщение нельзя ответить эксплицитно, придётся как бы додумать за его автора. И правда, если вам сообщают "я был на выставке", то странно отвечать "да ладно тебе, ты же некультурная деревенщина". Поэтому использование неявного послания выдаёт неуверенность автора в своей правоте: скорее всего, он боится делать явное утверждение, поскольку опасается получить критику в ответ.

На мой субъективный взгляд, чем большим количеством неявных посланий автор пытается подтвердить свой статус, тем меньше его уверенность в обладании этим статусом. В сочетании с жаждой карьерных успехов эта неуверенность может производить килотонны медийной активности, которые порой долетают до каждого из нас.

Читать полностью…

Русский research

Потрясающие новости. В многострадальном Научно-технологическом центре уникального приборостроения (НТЦ УП РАН) фактически отменяются выборы директора из-за позиции всем известных академиков из Отделения нанотехнологий и информационных технологий РАН.

После долгого скандала Минобрнауки назначило выборы руководителя, и институт выдвинул двух кандидатов, в том числе бывшего директора Булатова, которого в основном поддерживает коллектив. Также был выдвинут нынешний и.о., продвигаемый ОНИТ РАН.

По результатам рассмотрения кандидатур в РАН двое из трёх претендентов не прошли согласование, остался только "правильный" исполняющий обязанности. Естественно, причины отвода не уточняются. В итоге коллектив лишён права выбрать себе руководителя.

Снова повторю, что это очень плохой прецедент, когда академия действует против мнения сотрудников научного института, используя то самое правило двух ключей.

Хотя исходно предполагалось (пусть неявно) совершенно обратное: навязанные чиновниками кандидатуры могли быть отклонены сообществом учёных, которое и представляют академики. Выходит, академики представляют какие-то другие интересы. Да, пока мы наблюдаем это только в весьма специфическом отделении ОНИТ РАН, но доверие подрывается в любом случае.

Ждём аналогичную ситуацию в ИППИ РАН?


*Долгая предыстория: см. здесь и в более ранних постах.

Читать полностью…

Русский research

Бесспорный итог длинной дискуссии: появился новый повод любить стартапы ❤️

Читать полностью…

Русский research

Цитирования, метрики и жульничество - I

Недавняя публикация А.Р. Хохлова про сервис для взаимных накруток породила огромное количество комментариев от подписчиков и от авторов других каналов (см. посты самого ак. Хохлова и Зоопарка). Бесконечно многогранная тема, попробую начать с основ.

Прежде всего, цитирования наследуют базовую проблему самих научных статей: сегодня они исполняют несколько противоречивых функций, о чём я писал почти 2 года назад. Да, в идеальной ситуации ссылки на другие работы нужны исключительно для того, чтобы не повторять однажды доказанное или измеренное, а отослать читателя к оригинальной статье. И если некая работа ссылается на 10 статей, то все они необходимы для обоснования результатов; лишних цитирований, не влияющих напрямую на понимание работы, быть не должно.

Как следствие, в идеале число цитирований неплохо отражает степень влияния данной работы на развитие науки (но с рядом оговорок). А совокупность цитирований всех статей данного автора неплохо характеризует его научный вклад (с ещё большими оговорками).

Далее начинается мир реальный. Как известно, всё портится, как только цитируемость становится метрикой, используемой явно или неявно для распределения благ (премий, грантов, приглашённых докладов, членства в академии и т.п.). Цитирования приобретают роль валюты, появляется мотивация избыточно цитировать самого себя, ближайших коллег, руководство, будущих оппонентов и т.п.

Замечу, что эта мотивация может быть чисто финансовой (условно, когда рост индекса Хирша включён в KPI), а может быть социальной: выказать уважение посредством цитирования. Бывают и совсем небанальные случаи, когда необходимо процитировать достаточное количество авторитетных работ в данной области, чтобы сойти за своего и не вызвать придирок рецензента.

Усложнение этой системы можно обсуждать бесконечно. Например, откуда-то появляется неформальное требование на приличный список литературы в несколько десятков работ, отражающий социально-научный кругозор авторов. Возникает феномен плагиата списков литературы из чужих статей и целые паровозы из 20-30 ссылок, к которым обращаются лишь во фразе "учёные занимаются похожими проблемами [1-30]...". Включается эффект Матфея: при поиске литературы по теме учёные в первую очередь читают и цитируют наиболее цитируемые статьи, к этому подталкивает сам механизм поиска. И так далее.

Всё это размывает исходный смысл и сильно девальвирует ценность ссылки на статью. Это не означает (важно!), что метрики, основанные на цитированиях, полностью бесполезны. Более адекватный вывод: как и любые метрики, они подвержены взлому и должны применяться экспертом в совокупности с другими метриками и в дополнение к содержательному анализу.

В реальном мире содержательная экспертиза возможна далеко не всегда, а управленцы, как правило, стремятся к простым и легко отслеживаемым показателям. Среди простых показателей цитируемость и индекс Хирша — одни из наиболее легко взламываемых (особенно если учитываются цитирования из РИНЦ или ВАК). И поэтому крайне странно устанавливать прямую связь между числом цитирований или индексом Хирша с надбавкой к зарплате.

На мой взгляд, если уж и пытаться придать какое-то конкретное значение цитированиям, то оно должно быть пороговым. Условно говоря, соискатель со стажем 20 лет в фундаментальной науке и индексом Хирша = 3 должен вызывать большие вопросы, а вот показатели h=20 или h=40 априори одинаково хороши. Дальше должен работать эксперт.

Так или иначе, если глупые метрики побеждают, возникают мотивы для накруток и острые этические вопросы для тех, кто хочет работать честно. Обсудим это во второй части поста.

Читать полностью…

Русский research

А почему бы и не запостить итоги года от @TGStat?

Конечно, в 2023 году получалось писать меньше, чем хотелось бы (вижу аналогичную тенденцию у многих авторов). Но я рад отклику читателей на посты, особенно на те, которые писались и редактировались долгими часами. Из статистических рекордов: в среднем одна публикация в 2023 году набирала более 10 тысяч просмотров, 150 реакций, 120 пересылок и 50 комментариев. Это действительно много, тем более для узкопрофильного канала, а значит всё не впустую.

Пользуясь случаем, напоминаю новым подписчикам, что у канала работает чат @trueresearch_chat, где есть не только все комментарии к постам, но и другие дискуссии.

Надеюсь повысить обороты в 2024 году — впрочем, предыдущие годы научили нас не строить слишком амбициозных планов. В любом случае я желаю себе и дорогим подписчикам по-настоящему хорошо отдохнуть в ближайшие дни. С наступающим и до встречи! 🍾

Читать полностью…

Русский research

Справедливость, лоббирование, конкуренция

Из предыдущего поста о распределении зарплат в науке и образовании логично вытекают два вопроса: о справедливости и о лоббировании. Процитирую один из комментариев на эту тему:

"Финансовая успешность групп и лабораторий, к сожалению, не определяется научной эффективностью как таковой. Действительно, хорошо финансируемые коллективы обычно работают неплохо (как минимум), но зарплаты на уровне ~300+ процентов от средней обеспечивается включенностью в большие консорциумы либо получением крупных грантов типа РНФ на ведущие лаборатории. Однако и то, и другое требует интенсивного лоббирования, доступ к которому, очевидно, не основывается на одной лишь науке. Есть, конечно, еще прикладные контракты, но это совместимо не со всеми направлениями.

В последние три года даже гранты уровня 6-7 млн в год стали труднодоступны даже для лидирующих в своих областях групп (и за них идет жесткая лоббистская борьба) <...>".

***
Со многим можно согласиться, но добавлю, что система ещё сложнее. Дело тут не только в лоббировании, но сначала поговорим о нём. Вообще, возможность к лоббированию зачастую связана именно с честными научными достижениями, только прошлыми. Положим, некий коллектив упорно трудился, получал результаты, стал узнаваемым и заработал хорошую репутацию в сообществе. Руководитель обрастает инструментами лоббирования естественным образом — заседая в экспертных советах, рецензируя статьи и диссертации, входя в редакционные коллегии и программные комитеты, приобретая знакомства и т.п.

До какого-то момента эти репутационные бонусы можно считать справедливыми и заслуженными. Тонкость в том, что в этой системе есть гистерезис, выражаясь физическим языком. Если такой коллектив перестанет выдавать реальные результаты, то лоббистские возможности у него сохранятся ещё довольно долго (в зависимости от административных талантов): весьма вероятно, что он сможет проехать на прошлой репутации и связях не один десяток лет, отнимая ресурсы у более талантливых и достойных. Похожие рассуждения можно перенести с отдельной группы на целый университет или научный институт. И это первый важный фактор несправедливости.

Второй фактор — это гиперконкуренция, приводящая к излишне резкой зависимости финансирования от научной продуктивности (в чём её ни измеряй). Условно говоря, если вы входите в топ-10% учёных, то вы зарабатываете всё, а если не входите в топ-30%, то не получаете ничего. Хотя по результативности разница между этими случаями может оказаться не такой большой.

Как это происходит? Допустим, в конкурсе грантов достойны финансирования лучшие 30% проектов, а деньги есть, как обычно, для 10-15%. Скорее всего, в верхушке рейтинга коллективы сопоставимы по уровню, а значит для выбора 10-15% победителей будут важны минимальные отличия в показателях. И вот, непринципиальная разница в пару статей становится решающей; а может, становится решающим голос "своего" человека. Далее работает принцип "деньги к деньгам", и разница имеет свойство увеличиваться с годами. Так появляется непропорциональный разрыв в финансировании между близкими по уровню научными группами.

Оговорюсь, что есть и другие, более специфические факторы, влияющие на уровень зарплат. Например, контраст между науками с дорогими и дешёвыми (отсутствующими) расходными материалами. Избитая тема с неочевидным решением, но биологам и химикам от этого не легче. Есть и искусственно навязанная региональная разница.

Но, на мой взгляд, лоббирование и гиперконкуренция — это два основных фактора, которые обуславливают несоответствие между финансированием коллектива (в частности, зарплатами) и его научной результативностью. "В три раза богаче" — точно не означает "в три раза продуктивнее". Конечно, ждать полной справедливости глупо, но снижать конкуренцию совершенно необходимо, это нормализует ситуацию. С лоббированием сложнее, поскольку оно тесно связано с ценным институтом репутации. Так или иначе, помогут прозрачность процедур и ротация.

Читать полностью…

Русский research

Немного о бюджетах

По плану в 2024-2026 годах финансирование фундаментальной науки в России составит около 250 млрд. рублей в год. Это почти в четыре раза меньше планируемых расходов на развитие транспортной системы Москвы из бюджета города.

Часто приводят цифру порядка 1 трлн. рублей, называя её расходами на науку. Тут есть большое лукавство, поскольку в эту статью бюджета включены расходы на высшее образование, а также расходы на прикладные разработки, которые могут очень далеко отстоять от науки как таковой. Тем не менее, эта сумма сопоставима с годовым бюджетом одного только Стэнфорда или двух крупнейших китайских университетов. Может, сравнения и не до конца корректные, но заставляют задуматься.

Если отбросить лирику, то из недавних событий больше всего тревожит урезание бюджета Российского научного фонда, который сегодня является наиболее открытой структурой, распределяющей деньги на исследования, причём — структурой с наиболее стабильными и заранее оговоренными правилами игры. Сейчас и без того дикая конкуренция среди условных учёных-лидеров, претендующих на гранты РНФ, усилится ещё больше. Мне кажется очевидным, что существуют куда более мутные неэффективные и непрозрачные программ финансирования науки, средства которых было бы разумнее перенаправить в РНФ.

О научных расходах не стесняется говорить Профсоюз работников РАН, продолжая настаивать на том, что общее финансирование исследований на уровне 1% ВВП неприемлемо, равно как и финансирование конкретно фундаментальной науки на уровне 0,15% ВВП. Впрочем, на Конгрессе молодых учёных некоторые руководители и политики касались проблемы финансирования, но обычно в более обтекаемой форме. Порой складывается ощущение, что тема как-то неявно табуирована, поскольку "все всё понимают". Хотя, на мой взгляд, далеко не все понимают, что говорить всерьез о том же высокотехнологичном импортозамещении можно только при наличии серьезной фундаментальной и прикладной научной базы в интересующей области, либо при её форсированной наработке, которая стоит очень дорого. Впрочем, чем развитие высоких технологий отличается от программирования китайских роботов, понимают тоже далеко не все.

Читать полностью…

Русский research

Теперь в Телеграме можно увидеть список каналов, похожих на данный (см. скриншот из десктопной версии). Судя по всему, подборка основана на максимальном пересечении подписчиков — это легко проверить, например, по "кустам" университетских каналов и другим инфопузырям. Замечу, что вам не будут предлагаться каналы, на которые вы уж подписаны.

Благодаря своей механике новая фишка в очередной раз оголила тылы админов, закупающих ботов. Выясняется, что наибольшие пересечения по подписчикам у дорогих @scienpolicy и @scientificrussia — отнюдь не с научно-образовательными или политическими каналами, а с какими-то безымянными агрегаторами новостей и мемов, созданными и накачанными ботами специально для продажи рекламы. Кто бы мог подумать.

Напротив, официальные каналы Минобрнауки, РАН и АНО РСВ демонстрируют здоровые корреляции с каналами профильной тематики (как минимум, первая десятка списка). За что им респект.

В остальном — открывается большой простор для вдумчивого анализа аудитории. Советую протестировать!

Читать полностью…

Русский research

Что тут сказать. Профсоюз РАН, конечно, бывает оригинален в своих акциях, а тем более в дизайнерских решениях.

Но, по моим представления, это сейчас чуть ли не единственная крупная общественная организация, которая напрямую ставит вопрос о необходимости общего увеличения финансирования науки и напоминает об обещанных ранее темпах роста. Да и вообще, не стесняется поднимать многие другие неприятные темы, а не только обсуждать нюансы деления бюджета внутри Приоритета или РНФ.

Имеют ли смысл такие акции, сопутствующие письма президенту и т.п.? Думаю, да, даже если это не приводит к мгновенному эффекту. Просто-напросто нельзя допустить, чтобы была признана нормой ситуация, когда достаточное финансирование получают только 10-15% лучших коллективов. Кто-то должен об этом напоминать. Тактически, конечно, выгоднее не раздражать директора своего института, Минобрнауки, Минфин и т.п., но стратегически это проигрышное поведение.

В общем, над формами выступлений Профсоюза РАН можно много и справедливо иронизировать. Но сначала покажите представителей какого-нибудь Союза ректоров, или многочисленных советов при Госдуме или президенте с такой табличкой.

/channel/ivoryzoochat/47432

Читать полностью…

Русский research

Способность задать вопрос

Нужно иногда поговорить о хорошем, а точнее об идеальном. Рассуждения ниже написаны на почве впечатлений от физико-математического образования и наблюдений за ним, но, скорее всего, справедливы и для других областей.

Чем определяется качество фундаментального образования? Ясно, что не только количеством выученных фактов. Может, глубиной усвоенных связей между фактами? Да, вероятно. Но я рискну утверждать, что наиболее яркий показатель качества образования — это уровень вопросов, которые способен задать студент к каждому курсу, а также практика обсуждения этих вопросов в университетской жизни.

Вот смотрите. Посредственное качество: вопросы сводятся к уточнениям отдельных фраз лектора, обсуждения между студентами возникают только в процессе сверки конспектов и методичек перед экзаменом. Идеальное качество: студенты ищут ошибки в логике преподавателя или опережают изложение вопросами, в перерывах продолжают дискутировать между собой и разрешать парадоксы с помощью подвернувшихся старшекурсников, интернета и черчения пальцем на стене. Иными словами, не просто хорошо понимают, но также способны и мотивированы думать дальше.

Отсюда следует и ответ на пресловутый тезис "незачем начитывать лекции вживую, если есть видеозаписи". В случае низкого уровня обучения всё просто: действительно незачем, есть куда более эффективные технические средства воспроизведения звука и картинки, чем живой человек. В идеальном случае (или если мы стремимся к идеалу) ответ таков: функция лектора не в "начитывании" материала, а в создании ситуации мышления над этим материалом в конкретной учебной группе, в предоставлении первых примеров такого мышления и, главное, в мгновенном отклике на вопросы и реплики студентов, включившихся в мыслительный процесс. Эти вопросы и реплики никогда не будут полностью повторяться, записать все ответы заранее невозможно.

Если на заданные вопросы порой не готов ответить сам преподаватель, то всё идёт как надо. Собственно, в идеале лектор должен быть готов брать домашнюю работу по ответам на вопросы, а также корректировать изложение исходя из уровня и содержания вопросов и реплик.

Всё сказанное выше напоминает активно муссируемый "проблемный подход" в обучении, однако в реальности имеет с ним мало общего. Суть не в том, что необходимо искусственно выдумывать какую-то проблему. А в том, что правильная подача материала должна порождать обсуждение сама по себе. Да, умение стимулировать хорошие вопросы и глубокие размышления у студентов — признак большого мастерства лектора. Но этому мастерству, по моим представлениям, не учит ни один курс педагогики.

Университет — это место, где люди помогают друг другу учиться. Упрощая, главный выигрыш университета относительно папки видеозаписей заключается в возможности непрерывно вести диалог с другими студентами и преподавателями, оттачивать умение задавать вопросы и отвечать на них, при этом улучшая понимание предметов и строя не только интеллектуальные, но и будущие профессиональные связи. Если этого диалога по существу не происходит, то действительно всех преподавателей можно заменить телевизорами, а студентов собирать только в курилках, на КВН, весёлых стартах и для прочих отправлений Третьей миссии.

В итоге, критерий таков: качество образования напрямую определяется тем, насколько хорошо студента учат не понимать и насколько активно принято проявлять и удовлетворять это непонимание. Остальное, включая научную работу, можно считать лишь следствием.

Читать полностью…

Русский research

Продолжаем разговор о международных отношениях — тут коллеги из @boilingmephi и @ivoryzoo комментируют околополитическую статью в Science. Я её, конечно, не читал, но воспользуюсь поводом, чтобы высказать несколько тезисов по теме.

Во-первых, учёные — это такие же люди, они обладают самыми разными взглядами и системами ценностей. Никакого единого "мнения образованных людей" не существует ни в одной стране мира. Возможно, учёные образованы чуть лучше обывателя и чуть больше общаются с иностранцами. Поэтому, если уж и наделять учёных каким-то моральным долгом сверх стандартной нормы, то это должен быть долг посильной нормализации отношений между странами, долг быть пресловутой мягкой силой. На том простом основании, что исследователи во всём мире изучают одну и ту же объективную реальность, и прийти к согласию на этой почве, как правило, куда проще, чем в политическом конфликте. Очень трудно расчеловечить того, кто думает вместе с тобой над той же проблемой.

К этому близко примыкает даже не долг, а просто правило информационной гигиены — стараться не транслировать спекулятивные материалы любого происхождения. Ну и не развешивать ярлыки в ответ, дабы не раскручивать спираль ненависти.

Во-вторых, лично мне кажется очевидным, что лишь мизерная часть учёных по обе стороны океана счастливы вводить санкции или оказываться под ними. Я не думаю, что условные редакторы журналов или организаторы конференций из США и Европы кровожадно выискивают русские следы по спискам аффилиаций и причём из личной ненависти: скорее всего, они банально пытаются не нарушить местные законы. Учитывая, что половина из них давно уже являются этническими китайцами или индусами (зачастую молодыми), которым вайбы времён Холодной войны, простите, ни капли не откликаются.

В конце концов, в ряде областей российская наука действительно определяет мировой уровень (да, этих областей не очень много, но они есть). И здесь те же журналы, конференции или бывшие университеты-партнёры просто теряют свой материал и свою выгоду.

Одновременно с этим, не вижу повода радоваться вынужденной "независимости", поскольку интегрально мы получаем от мировой (и даже просто от западной) науки намного больше, чем отдаём. Естественно, в один миг всё не рухнет, но любое закручивание гаек замедляет развитие. В тактическом смысле необходимость импортозамещения, конечно, подталкивает ряд технологий, но в стратегической перспективе выиграть от изоляции невозможно, так как фундаментальный задел вырабатывается буквально всем миром. Максимальная вовлечённость в этот процесс означает максимальную готовность создавать и осваивать зарождающиеся технологии, ну или хотя бы понимать их.

В-третьих, поддержка политики государства или борьба с системой, а также форма этой поддержки или борьбы (хоть в США, хоть в России, хоть в Гонудрасе) является личным выбором любого человека, зачастую иррациональным, если докапываться до его сути. Поэтому, пожалуй, в силу (ожидаемой) развитости мышления, от учёного можно требовать лишь интеллектуальной честности на выбранном пути и поиск открытого конструктивного диалога с оппонентами до тех пор, пока это возможно. Вот и всё. Отвечая на расхожий довод, замечу в порядке дискуссии, что работа в бюджетном учреждении не обязывает (морально или законодательно) безоговорочно любить партию, поскольку зарплату платят за труд, а не за лояльность. Собственно, любой работник "кормит страну" ровно в той же степени, что и страна — работника.

Наконец, последнее. У меня нет рецепта по починке окружающего мира, и мне в канал не завозят методички, в которых указано, кого необходимо считать Гитлером в каждом конкретном случае. Себе и другим людям интеллектуального труда могу пожелать лишь удерживаться от простой радости ощущать свою тотальную правоту по причине принадлежности к той или иной стае, тем более, что реестр добрых и злых, как правило, оказывается недолговечным по историческим меркам. На этом фоне неплохо хотя бы сохранять человеческое достоинство, что по нынешним меркам уже тянет на подвиг.

Читать полностью…

Русский research

Совпадение: только собрался написать о своей позиции по зарубежным публикациям, как тут же подоспел достаточно дискуссионный пост Зоопарка на эту тему. Коллеги справедливо сетуют на то, что международный издательский бизнес обнаглел, что рецензенты душат техническими мелочами, и что публиковаться хочется в нормальном российском журнале без завышенных ожиданий.

В общем-то аргументы понятные и спорить тут особо не с чем. Замечу только, что ситуация зависит от научной отрасли, а вот адекватность рецензентов — это вопрос везения в любом случае; в отечественных изданиях тоже могут попадаться весьма "уникальные" специалисты. Думаю, коллеги это и сами понимают.

А вообще я хотел сформулировать несколько параллельных тезисов, которые вдруг стали неочевидными в последнее время. Это уже не спор с Зоопарком, а скорее обобщённый ответ на разные симптоматичные комментарии.

Начнём с того, что наука — международное явление. Вклад России в общую копилку знаний, как его ни оценивай, составляет не больше 1-2% — без иронии, это очень и очень много. Но при таких пропорциях от взаимного обмена с мировой фундаментальной наукой мы получаем в 100 раз больше, чем отдаём. Грубо говоря, имеем в качестве рецензентов 50-100 специалистов со всего мира вместо 1-2 внутри страны. Это касается и публикаций, и конференций, и вообще любых контактов.

Именно поэтому я считаю полной глупостью аргументы в том духе, что публикуясь в этих ваших Скопусах, мы передаём врагу свои секреты. Во-первых, публикация в отечественном журнале всё равно делает результат общедоступным (или мы рассматриваем русский язык как шифр, да?) Во-вторых, потенциальные враги публикуют в Скопусе в сотни раз больше — бери и пользуйся, казалось бы. Но наука так не работает: ты не можешь пользоваться тем, в чём не разбираешься и что не пробовал делать сам.

Я думаю, что сейчас ценность сохранения связей с мировой наукой важнее неудобств с рецензентами и издательствами. Другое дело, что нет смысла убиваться в гонке хиршей и импактов, но всё же публиковаться надо там, где работу будут читать и где есть вероятность получения обратной связи. Это банальный и прагматичный вопрос сохранения уровня своих исследований, никакой лирики. Ну а если кто-то жалуется на блокировку российских авторов, то конкретно в физике этим отметились только единичные журналы, в остальных редакционная политика не изменилась.

Борьба с несправедливостью журнального бизнеса и улучшение имиджа российских изданий — это, по сути, совсем другая история. Но уж в нынешних условиях отказ от иностранных журналов выглядит очень глупо: на фоне роста того же Китая наше отсутствие никто и не заметит, а вот мы сами сделаем опасный шаг в сторону консервирования науки. Получается типичное "назло бабушке отморожу уши".

Читать полностью…

Русский research

Обычный доцент, выполняющий базовые требования трудового договора по педагогической нагрузке, а также по научной и методической работе.

/channel/odept/23481

Читать полностью…

Русский research

Итак, вышло новое постановление правительства РФ, разрешающее защиту кандидатской по автореферату (без написания самой диссертации) по 10 статьям в журналах из списка ВАК. Даже не важно, будут это журналы категории К1, К2 или без категории — всюду полно не просто слабых изданий, а откровенных платных помоек. Об я неоднократно писал в канале, также об опасности предупреждали коллеги.

Отмечу несколько важных вещей.

Первое. Многие пишут, что "нужных" людей дотащили бы до защиты при любой системе. Да, конечно, но новая норма сильно упрощает этот процесс. Видите ли, написанный "кирпич" диссертации обязан выкладываться в открытый доступ вместе со всеми отзывами. Это позволяет любому оценить содержание труда, да и просто прогнать текст через Антиплагиат. Как ни крути, мина замедленного действия для репутации.

Со статьями всё сложнее: они не обязаны быть в открытом доступе, проанализировать разрозненные работы сложнее, а издательство коммерческого журнала может и вовсе исчезнуть вместе с сайтом в любой момент. Замечу, что ответственность за решение о присуждении учёной степени тоже в известной степени размывается: диссертационный совет всегда может сослаться на то, что результаты работы опубликованы в 10 статьях в "ведущих изданиях".

Второе. Действительно, Российскую академию наук даже не спросили, а она сама пока просто отмалчивается. Это совершенно необъяснимое поведение для главной экспертной организации страны. Казалось бы, академики РАН должны лучше всех понимать реальный уровень журналов ВАК и опасность девальвации званий кандидата и доктора наук.

Третье. Удивителен авторитарный характер принятия решения. Как пишут коллеги, руководство ВАК продавило его силой, несмотря на возражения. Это наводит на мысль, что либо было необходимо поднять какие-то показатели по защитам любой ценой, либо кто-то ещё промышляет древнейшим бизнесом по "кандидатским защитам под ключ" и лоббирует выгодные условия. Увидим в ближайшее время.

И последнее. Я не вижу ничего плохого в защите диссертации по докладу, если соискатель является основным автором даже 3-5 хороших статей в ведущих международных (!) журналах. Хотя должен заметить, что от души написанная кандидатская по этим 3-5 статьям (со всеми подробностями, данными и выкладками) может принести много пользы как другим учёным, так и самому соискателю. Впрочем, это всё лирика, относящаяся к добросовестным организациям с реальной наукой.

Так или иначе, сейчас мы наблюдаем огромный шаг в сторону облегчения липовых защит, объяснить который рационально совершенно невозможно. Причём мы ещё не принимаем во внимание, какие изощренные услуги сможет предоставлять журнальный бизнес после принятия этой нормы. Прогнозирую продажу пакетов "10 статей ВАК за 70 тысяч рублей и текст автореферата в подарок".


/channel/ivoryzoo/3589

Читать полностью…

Русский research

Возможно, избитая, но важная цитата.

В 1961 году Нильс Бор посещал Москву, и его ученик Лев Ландау поинтересовался, в чем был секрет привлечения такого количества самых талантливых учеников, будущих физиков-теоретиков. Бор ответил:

Никакого особого секрета не было, разве только то, что мы не боялись показаться глупыми перед молодёжью.

Читать полностью…

Русский research

Если вы вдруг пропустили: в Госдуме предложили свежий подход к преодолению кадрового кризиса в школах. Новый законопроект разрешает осужденным за тяжкие и особо тяжкие преступления работать учителями спустя 10 лет после отбытия наказания (авторы идеи: Петр Толстой, Валентина Пивненко, Ирина Роднина, Владислав Третьяк и Вячеслав Фетисов).

Я бы не останавливался на полумерах и сделал преподавание в школе одним из видов исправительных работ для заключённых. Шить рукавицы легко, а ты попробуй вести математику в шестом классе! Глядишь, преступлений станет поменьше, а дети будут стараться вести себя хорошо и не раздражать учителя.

Читать полностью…

Русский research

О кадрах для промышленности
цитаты из чата канала

>> Я много общался с топ-менеджментом как государственных, так и коммерческих контор.

Ситуация в промышленности сложилась следующим образом: после развала СССР вместе с приличной частью промышленности образовался избыток квалифицированных кадров, что позволило сохранить оставшиеся госпредприятия в статусе медленной деградации, а коммерческим возникать и развиваться как за счет избыточных кадров, так и за счет предложения немного больших зарплат.

Общая логика «за забором очередь» позволила госпредприятиям законсервировать советскую модель управления, которая основана на дешевых кадрах, включая инженеров, с которыми можно делать что угодно, орать на столь любимых совещаниях, брызгать слюнями и т.п., а коммерческим - развить свою ларечную, основанную на быстром извлечении профита и возможности выкачивания квалифицированных кадров с госпредприятий за счет более высоких зарплат, с не менее скотским отношением к людям за счет нарушения ТК во всех видах.

Прошли десятилетия, обе этих культуры управления выжгли все поле человеческих ресурсов, старики кончились, молодежь заранее идти не хочет, кто пошел - через пару лет убегают в ужасе, но обе модели закрепились на высшем уровне, и не могут быть изменены в обозримом промежутке времени.

>> От мысли, что инженерам надо платить очень высокие зарплаты, у текущего топ-менеджмента совкового и ларечного разлива просто бахает, сама концепция для них неприемлема психологически, они будут продвигать принудиловку, начиная с насильственного распределения и заканчивая попытками порезать зарплаты в ИТ.


Комментарий РR: самым очевидным исключением служит отрасль ИТ, где зарплаты в значительной степени формирует международный рынок труда (даже после ухода ряда компаний из России). Замечу, что при этом сам собой возникает конкурс на нужные специальности в университетах, цветёт буйным цветом рынок ДПО, вузы сотрудничают с предприятиями, естественным путём происходит профориентация талантливых школьников и тому подобное.

Кто бы мог подумать, но привлекательные условия труда оздоровляют ситуацию автоматически, причём за кратчайшее время по историческим меркам.

Читать полностью…
Subscribe to a channel