Category: наука

Про эффективность бойкота, или Как правильно читать международные исследования


Пару дней назад я написал пост, который рассматривал преимущества и недостатки стратегии «забастовки избирателей» (https://mmironov.livejournal.com/34846.html). Вкратце, если Навальный призовет своих сторонников голосовать за одного из либеральных кандидатов, то это даст им дополнительно не более 1-2% голосов. При этом кампания по «забастовке избирателей» позволит воздействовать на куда более широкий электорат и потенциально снизит число сторонников власти в куда более значительном размере. Это падение будет выражаться в снижении явки. Незарегистрированный кандидат, который проводит негативную кампанию, не связан строгими правилами ЦИК ни под фандрейзингу, ни по контенту агитационных материалов. В то же время, если незарегистрированный кандидат поддержит какого-то кандидата, например, став его доверенным лицом, то он фактически вынужден будет работать в неформальных и формальных рамках, очерченных для этого кандидата Кремлем. То есть потенциал по отъему рейтинга у Путина будет тогда существенно ограничен.

Однако зарегистрированные кандидаты продолжают настаивать на неэффективности стратегии «забастовки избирателей», которая, в частности, включает в себя бойкот процедуры голосования. Лев Шлосберг из «Яблока» опубликовал вчера большой пост на эту тему (https://echo.msk.ru/blog/schlosberg_lev/2119748-echo/). Максим Кац, тоже из «Яблока», и Ксения Собчак, кандидат в президенты от партии «Гражданская инициатива», в своей аргументации против бойкота ссылаются на международный опыт, в частности, на статью Matthew Frankel "Threaten but Participate: Why Election Boycotts Are a Bad Idea", в которой проводится анализ 171 случаев электорального бойкота (https://www.brookings.edu/research/threaten-but-participate-why-election-boycotts-are-a-bad-idea/). На этом же исследовании основывается статья Виталия Аверина из «Голоса» (https://www.golosinfo.org/ru/articles/142417). (Кац ссылается на оригинальное исследование https://twitter.com/max_katz/status/939477004591628295, Собчак на пересказ Аверина https://www.facebook.com/sob4ak/posts/1390259314430713).

Я понимаю, почему «Яблоко» и «Гражданская инициатива» так агитируют против бойкота. Несмотря на то, что это даст им всего один дополнительный процент или чуть больше, но зато у них появятся реальные шансы перейти порог в 3%. Партии, преодолевшие эту отметку, получат значительное госфинансирование. Каждый набранный голос даст им 20 рублей (http://www.consultant.ru/document/cons_doc_LAW_32459/336a0c7ad68f72717fa286d6ecad040b53d848b0/). Причем сейчас в Госдуму уже внесен законопроект, который увеличивает эту сумму до 152 рублей (http://sozd.parlament.gov.ru/download/F23937AB-D470-4647-BB59-A575519ECB39). В прошлых выборах приняло участие 65%, или 71.8 миллиона избирателей . Если мы предположим, что явка на этих выборах будет примерно такая же, то 3% голосов - это 2.15 миллиона голосов, или 43 миллиона рублей, или 327 миллионов рублей по «новому» курсу. Зная, как в последние годы принимаются решения в Госдуме, можно предположить, что на кону стоит, скорее, вторая сумма, чем первая.

Бойкот бьет по «Яблоку» и «Гражданской инициативе» с двух сторон. Если «забастовка избирателей» приведет к снижению явки на 10%, то это будет означать для них потерю порядка 50 миллионов рублей (327*10%/65%), даже если они преодолеют 3-процентный барьер. Однако бойкот может повлиять на них намного серьезней. Если они не получат 1-2% голосов сторонников Навального, на которые очень рассчитывают, тогда они с большой долей вероятности вообще не смогут преодолеть порог в 3% (см. подробный анализ здесь https://mmironov.livejournal.com/34846.html). То есть они не получат никакого госфинансирования.

Это серьезные деньги и для «Яблока», и для «Гражданской инициативы», и за них действительно имеет смысл бороться. Однако, может быть, ссылаясь  на международные исследования, они хотят также помочь российскому обществу сделать правильный выбор? Давайте подробно разберем работу, которую они все так активно цитируют.

Как я уже говорил, к международным исследованиям нужно относиться очень аккуратно. Например, в дискуссии по МРОТ, Андрей Мовчан в подтверждение своих аргументов ссылался на классические американские исследования.  Однако их детальный анализ показывает, что они к российской ситуации практически не применимы (http://mmironov.livejournal.com/25735.html). Это не значит, что мы должны всегда придерживаться точки зрения, что Россия – родина слонов, и все международные исследования для нас не верны. Есть много работ, которые сделаны в других странах и которые можно применить к России. Как понять, можно ли использовать исследование?

Самый первый шаг, который нужно сделать непрофессиональному читателю, - это проверить авторитетность источника. В мире пишется огромное число работ, но лишь небольшой процент из них публикуется в уважаемых журналах. К примеру, в моей области, финансах, есть три ведущих журнала Journal of Finance, Journal of Financial Economics и Review of Financial Studies. Они публикуют 5-7% от присланных им статей. Причем туда шлют статьи, в основном, ученые, которые думают, что у них есть шансы опубликоваться. Есть также десяток просто хороших журналов, где такие же высокие критерии к качеству исследования, но не так строго относятся к масштабу вклада в науку. Публикация в хорошем журнале - это фактически знак, что статья смогла пройти фильтр мирового научного сообщества и по качеству, и по новизне. Большинство научных работ в мире так и остается неопубликованными. Если вам попалась в руки интересная научная статья, погуглите топ-10 журналов в соответствующей области и посмотрите, была ли она опубликована в одном из них. Это самый простой фильтр для непрофессионала, чтобы понять, стоит ли к этой статье относиться серьезно.

Мы  видим, что статья Matthew Frankel – это рolicy рaper, то есть она не была опубликована в рецензируемом журнале,  то есть другие ученые-политологи не поставили на нее знак качества. Может, у автора были какие-то свои причины не публиковать статью в журнале? В конце концов, публикация в ведущих журналах - это долгий и утомительный процесс, который занимает несколько лет. Второй шаг, который поможет оценить качество исследования  - это его цитируемость. Цитируемость показывает, сколько других ученых в своих статьях сослались на эту работу. Цитируемость можно посмотреть в Google Scholar. У статьи "Threaten but Participate: Why Election Boycotts Are a Bad Idea" 2010 г. - 6 цитирований (https://goo.gl/YEViKm). Много это или мало? Я не отношусь к светилам финансовой науки, скорее, я – крепкий середнячок. У моей первой опубликованной статьи, “Taxes, theft, and firm performance”, Journal of Finance, 2013 – 55 цитирований (https://goo.gl/Xkp3vK). Причем моя статья была опубликована на 3 года позже, а значит, у ученых было почти в два раза меньше времени, чтобы ее цитировать. Обычно какие-то значимые исследования в экономике, финансах и политологии набирают сотни, а некоторые даже тысячи цитирований. К примеру, известная статья по бойкотам Beaulieu и Hyde «In the shadow of democracy promotion: Strategic manipulation, international observers, and election boycotts», Comparative Political Studies, 2009 на сегодняшний день имеет 142 цитирования (https://goo.gl/dQ4yuL).

Если статья не была опубликована в хорошем научном журнале, и у нее низкое число цитирований (хотя прошло уже 7 лет с момента ее публикации), – то это очень тревожный сигнал. Это значит, что научное сообщество фактически проигнорировало эту статью. Самая лучшая стратегия на данном этапе – отложить ее в сторону и попробовать поискать другую по этой же теме. Но, может, российские политики и политологи оказались прозорливее международного научного сообщество и нашли в этой статье рациональное зерно, которое позволяет утверждать, что бойкот – это неэффективная стратегия. Разберем методологию этого исследования.

Начнем с того, что сделать исследование по эффективности бойкотов - это очень тяжелая, если вообще выполнимая задача. Просто провести анализ 171 электоральных бойкота за период 1990-2009 гг. недостаточно. Почему? Представьте, вы хотите изучить эффективность разводов. Вы сравниваете счастье людей (предположим, вы смогли его как-то померить), которые развелись, и счастье людей, которые живут в браке. Померив уровень счастья в обоих случаях, вы пришли к выводу, что развод – это плохо, так как разведенные люди менее счастливы, чем те, кто в браке. В чем проблема с данной логикой? В том, что среди женатых есть большое количество семей, которые счастливы вместе и вообще не собирались разводиться. Если вы хотите померить эффективность развода, вам условно нужно взять 100 семей, у которых серьезные проблемы, выбрать из них случайным образом 50 семей и сказать им, чтобы они развелись, остальным 50 запретить разводиться, и через несколько лет померить их уровень счастья. Только так можно действительно сказать,развод – это хорошо или плохо. Понятно, что такой эксперимент провести невозможно. Крепостное право отменено более 150 лет назад, и никто не может насильно женить или разводить людей. Точно такая же история с бойкотами. Политические партии идут на бойкот как на жест крайнего отчаяния. Они, взвесив для себя все «за» и «против» участия в выборах, приняли для себя решение не участвовать. Нельзя померить эффективность бойкотов, просто взяв результаты всех бойкотов, и сравнить их с результатами оппозиции, которые принимали участие в выборах. Если оппозиция решила участвовать в выборах, значит, ее в целом устраивает политическая система, и она видит возможность добиться какого-то результата путем выборов (условно, жить в браке). Если же оппозиция приняла решение бойкотировать, значит, она для себя уже не видит никаких опций чего-то добиться в рамках этой политической системы, и самый оптимальный вариант для нее – это бойкот (условно, развод и девичья фамилия). Чтобы померить эффективность бойкотов, мы должны поступить так же, как с разводами, – взять набор партий/стран, случайно выдать им решение – вы бойкотируете, вы участвуете, и потом померить результат. Реалистичен ли такой эксперимент? Конечно, нет. Представьте, к какому-то политику приходит ученый и говорит: «Я кинул монетку – она говорит, что вы должны выборы бойкотировать, а в такой-то стране, похожей на вашу, монетка сказала, что бойкотировать не надо».

Возможно, ученые придут с какими-то более талантливыми идеями, которые позволят померить эффективность стратегии бойкота. Если таких исследований пока нет, это не значит, что мы должны извлекать какие-то выводы из первой попавшейся на глаза работы. Можно утверждать однозначно, что статья Matthew Frankel не дает нам никаких аргументов ни за, ни против бойкотов. Его исследование просто не отвечает на вопрос, вынесенный в заголовок, - «Why Election Boycotts Are a Bad Idea?».

В этом исследовании есть и другие проблемы (например, там слишком узкое определение «успеха» бойкота), но детальный анализ всех остальных недостатков не имеет смысла. При той эмпирической стратегии, которую выбрал автор, он просто вообще не может получить ответ на поставленный им вопрос, даже если он сможет собрать самые детальные данные по этим бойкотам и проследит развитие партий на несколько лет вперед. Скорее всего, фундаментальная проблема в стратегии идентификации (identification strategy) и явилось причиной, почему это исследование не было опубликовано в научном журнале и имеет низкую цитируемость коллег.

Мой критический пост ни в коем случае не означает, что не надо пользоваться научными статьями, чтобы попытаться осознать, что происходит в России. Однако надо себе отдавать отчет, что сейчас практически все университеты мира стимулируют, чтобы их профессора писали научные статьи. 99% научных статей, которые производятся в мире, - это мусор. Непрофессиональному читателю очень тяжело разобраться, что мусор, а что нет. Используйте простые фильтры, о которых я рассказал.


В защиту Мединского. Его случай - не исключение, а печальная практика



Я считаю, что Мединского не должны лишать ученой степени. Не потому, что у него диссертация соответствует научным стандартам. Не соответствует. Я против избирательности правосудия. Если Мединского лишать степени, то нужно также аннулировать процентов 80 или даже 90 диссертаций. На протяжении последних лет «Диссернет» успешно выявляет плагиат в диссертациях и разоблачил несколько фабрик, которые, как пирожки, выпекают новоявленных кандидатов и докторов. Однако плагиат - не главная проблема российской науки. Главная проблема - основная масса диссертаций (даже тех, которые были защищены относительно честно и в которых нет плагиата) не представляют никакой ценности с научной точки зрения.

Мне попадались на глаза несколько кандидатских диссертаций по экономике. Все они, если оценивать их вклад в науку, не стоили даже той бумаги, которая была потрачена на их распечатку. Типичная тема диссертации выглядит как «Развитие свиноводческого комплекса в фермерских хозяйствах (на примере Ставропольского края)». То есть потенциальный кандидат наук берет любую тему или отрасль с потолка, собирает по ней кучу статистки, пишет обзор литературы на много страниц, не забывает написать, какая это тема важная для народного хозяйства - и диссертация готова. С научной точки зрения ценность подобных трудов равна нулю. Нормальная диссертация должна исследовать какой-то интересный экономический вопрос. Безусловно, в этом исследовании можно и нужно опираться на статистику предприятий и разных секторов экономики, но первичной должна быть экономическая проблема. К примеру, если в каком-то штате подняли МРОТ, то интересно посмотреть, как изменилась занятость в индустрии быстрого питания в этом штате по сравнению с другими штатами. Тогда, базируясь на этой статистике, мы можем делать какие-то выводы, как МРОТ влияет на занятость. Но просто так писать диссертацию на тему «Анализ индустрии быстрого питания штата Мичиган» - это пустая трата времени, так как никакого экономического вопроса не исследуется. Не удивительно, что одна диссертация из другой получаются простой заменой слова «шоколад» на «говядину» (http://cook.livejournal.com/202638.html). Ни оригинальная диссертация про шоколад, ни скопипастченная диссертация про говядину никакой научной ценности не представляют.

Другая проблема российской науки - значительная часть ученых не владеет английским языком. Тут дело не в преклонении перед Западом – у русских своя гордость, и мы не обязаны знать язык ненавистных пиндосов. Английский язык уже давно стал языком науки. В Средневековье таким языком была латынь. Если бы какой-то талантливый парень пришел к уважаемым научным мужам свою теорию толкать на французском, английском или русском, они бы вначале его отправили выучить язык науки – латынь. Ведь как можно толкать что-то новое, если ты даже не ознакомился со старым? Все существующие научные труды были на латыни. Хочешь заниматься наукой и общаться с людьми науки – выучи сначала язык науки. Английский - это современная латынь. Все ключевые (и даже второстепенные) научные труды в мире  публикуются на английском. К примеру, моя экспертиза -это воровство денег в компаниях, уклонение от уплаты налогов и коррупция. Когда кто-то хочет опубликовать статью на эту тему, то мне зачастую редакторы научных журналов присылают ее на оценку. Мне приходилось оценивать статьи китайских, корейских, бразильских ученых, а также исследователей из многих европейских стран. Все они, если хотят, чтобы их работы были оценены и прочитаны мировым научным сообществом и поэтому пишут статьи на английском.

В России у большинства тех, кто получили научную степень (а значит, считает себя ученым), нет ни одной публикации на английском. Я тут даже не говорю про публикации в приличных журналах (в экономике и финансах есть около 10 журналов класса А+ и еще штук 30-40 класса А). У них вообще нет ни одной публикации в международных журналах любого уровня. То есть у мирового научного сообщества нет даже теоретического шанса оценить вклад этих ученых в мировую науку. Речь идет не только о тех, кто защитился, получил заветные корочки, и забыл про научную профессию. Поищите научные публикации на английском языке тех, кто считается у нас известными экономистами (это можно сделать по фамилии экономиста в Google Scholars). Вы удивитесь, но в научном мире никогда не слышали о большинстве наших уважаемых экономистов.

Кто-то возразит, что у нас тоже есть научные журналы, и наши ученые там публикуются. Однако качество почти всех российских научных журналов ниже плинтуса. Вот пример публикации в ведущем российском журнале «Вопросы экономики» статьи великого ученого Дмитрия Медведева http://www.vopreco.ru/rus/redaction.files/10-15.pdf. Мне тяжело себе представить, чтобы подобная статья была опубликована в любом более менее приличном международном научном журнале. Никакой научной ценности она не представляет. Не надо думать, что Медведеву дали какие-то поблажки, и он по блату протащил свою писанину в приличное место. К сожалению, большинство публикаций в российских научных журналах по уровню еще хуже медведевской графомании.

В силу своего образования и опыта я могу оценить качественно только уровень диссертаций и статей по экономической тематике, но подозреваю, что ситуация в других гуманитарных науках не сильно отличается. Если мы принимаем решение лишать Мединского научной степени за то, что его статья не научна, то давайте тогда лишать степеней большинство тех, кто защитился в России на протяжении последних десятков лет. Их диссертации также не представляют научной ценности. Уже давно научная степень не является атрибутом ученого. Депутаты, чиновники и бизнесмены получали степень, чтобы иметь красивые визитки. Многие девушки защищали кандидатские, так как, по их мнениию, просто высшего образования уже недостаточно, чтобы удачно выйти замуж. Многие молодые люди поступали в аспирантуру, чтобы не ходить в армию, а потом то, что было, защищали. Погуглите «написание диссертаций на заказ», вы увидите, что получение научной степени за деньги - это весьма конкурентный и отлаженный бизнес. В итоге российские научные степени уже давно девальвировались. И не Мединский в этом виноват.

Как решить эту проблему? Я сторонник подхода «до основания, а затем…». Российская система ВАКов полностью себя дискредитировала. Даже после скандалов, когда в приличном обществе принято стреляться, эти лицемерные академики коррупционных наук даже в отставку не уходят. Возможно, нам имеет смысл перенять западную систему. К примеру, у меня докторская степень Чикагского университета, и он несет ответственность за качество моей диссертации. Если когда-то вскроется, что у меня что-то где-то списано, или я подтасовал данные, или сделал какие-то еще серьезные огрехи – то меня очень быстро этой степени лишат. Если не лишат, то все будут говорить: «А, это тот университет, где больше всего нобелевских лауреатов по экономике, правда, докторские степени они выдают всяким жуликам». Никакой университет не хочет ассоциировать себя с жуликами. Как только вскрываются проблемы с диссертацией, университеты тут же аннулируют степени, без всяких ВАКов и министерских разборок (примеры вот http://www.dw.com/ru/%D0%BF%D1%80%D0%B5%D0%B7%D0%B8%D0%B4%D0%B5%D0%BD%D1%82%D0%B0-%D0%B2%D0%B5%D0%BD%D0%B3%D1%80%D0%B8%D0%B8-%D0%BB%D0%B8%D1%88%D0%B8%D0%BB%D0%B8-%D1%83%D1%87%D0%B5%D0%BD%D0%BE%D0%B9-%D1%81%D1%82%D0%B5%D0%BF%D0%B5%D0%BD%D0%B8-%D0%B7%D0%B0-%D0%BF%D0%BB%D0%B0%D0%B3%D0%B8%D0%B0%D1%82/a-15849437 и вот https://lenta.ru/articles/2013/02/06/schavan/ )

   Я считаю, что и в России каждый университет должен нести ответственность за своих выпускников. Пусть будут д.э.н. РЭШ, д.э.н. МГУ, д.э.н. НГУ и т.д. Каждый университет должен сам решать, потянет ли он организацию качественной аспирантуры и/или докторантуры (я бы их объединил и выдавал единую степень). Качество этих степеней будет оцениваться потом научным сообществом по публикациям и трудоустройству выпускников. Я не вижу проблем, почему какой-нибудь Задрюпинский госуниверситет не может открыть аспирантуру и выдавать степени всем подряд. Пусть выдает. Но любой, кто захочет нанять выпускника, будет смотреть не на степень, а на то, кем эта степень выдана. К примеру, вы же не покупаете просто машину. Вы покупаете машину определенной марки, понимая, что марка определяет качество продукта. Передача всех полномочий и ответственности на уровень университетов даст стимулы не только заботиться о качестве конечного продукта, но и конкурировать за талантливых аспирантов. А то, что мы имеем сейчас – это не наука, это выкидывание огромных трудовых и денежных ресурсов на производство исследований, которые никому не интересны.




Цена свободы




Когда мне пару раз довелось присутствовать на лекциях Ричарда Тайлера, я не очень понимал, куда я попал - настолько его идеи концептуально отличались от того, что преподавали другие чикагские профессора. Все, что он говорил, было с человеческой точки зрения просто и логично, но  никак не вписывалось в то, что во всем мире принято называть «чикагская школа» - экономические агенты рациональны, рынки эффективны, цена активов отражает всю доступную информацию и т.д. Мне вообще было не очень понятно, как поведенческую экономику можно органично встроить в современную мэйнстримовскую экономическую теорию, ведь все ее ключевые постулаты базировались совсем на других предположениях. Поведенческая экономика для меня являлась скорее описанием наблюдаемых аномалий в поведении экономических агентов, чем какой-то системной теорией.

То, что считалось смелым, вызывающим и противоречивым еще 20 лет назад, сегодня окончательно заслужило признание мирового научного сообщества. Тайлер, один из основных идеологов поведенческой экономики, только что получил Нобелевскую премию. Но мой пост не о нем и даже не о поведенческой экономике, а о Чикагском университете.

Чикагский университет по количеству нобелевских лауреатов по экономике с большим отрывом обгоняет другие ведущие мировые университеты. В чем причина такого успеха? Может, у него много денег? Это, безусловно, небедный университет, однако его финансовые ресурсы намного скромнее, чем у других американских университетов.  Чикаго в 5 раз беднее Гарварда и более чем в 3 раза беднее Йеля или Стэнфорда (https://thebestschools.org/features/richest-universities-endowments-generosity-research/). Чикаго также не входит в широко известную Лигу плюща, то есть исторически он не был притяжением для детей элит.

Причина подобного успеха, скорее, заключается в свободе и открытости к новым идеям. Когда Тайлер в 1995 стал профессором Чикаго, то все ключевые профессора Чикаго придерживались противоположных взглядов. Тем не менее, его наняли, потому что его идеи были новыми и интересными. Когда мой научный руководитель Гэри Беккер (Нобелевский лауреат 1992 г.), в 1960-х гг. начал продвигать теории, что мотивы преступников можно описать экономическими моделями, это тоже многим казалось аморальными и диким. Позже мировое научное сообщество признало, что его модели очень помогают в борьбе с преступностью и других сферах нашей жизни (куда раньше экономике был путь заказан). На студентов и аспирантов также распространяется намного бОльшая свобода, чем в любом другом ведущем американском университете. Никто не насаждает своих идей, никто не заставляет заниматься какой-то определенной областью, если спросишь – помогут, если есть свои идеи – двигай свои идеи.

Опыт Чикагского университета, а также других американских университетов (США как страна с огромным отрывом лидирует по количеству Нобелевских премий), показывает, что чтобы быть сильным в современном мире, нужно быть свободным и открытым. Нужно приветствовать новые идеи, оппозицию и вообще любые проявления чего-то нового и интересно. Истина рождается в интеллектуальных дискуссиях. Университет, который может внутри себя организовать самую сильную дискуссию (для этого нужно привлекать ученых противоположных взглядов), в итоге выигрывает конкуренцию. Если закрыться и сплотиться даже вокруг очень сильного лидера, сконцентрироваться только на продвижении его идей и найме сторонников только его теорий, то это путь в никуда. Казалось бы, причем здесь Путин и Россия?