оригинальная статья

 

Эконометрическое моделирование как мусорная наука

Тед Гертцель, Университет Рутгерса, Камден, штат Нью-Джерси, 08102

[email protected]

голос: 609 953-1670 факс: 413 793-2597

 

Верите ли вы, что каждый раз, когда заключённого казнят в Соединённых Штатах, предотвращается восемь будущих убийств? Считаете ли вы, что увеличение на 1% доли граждан штата, носящих скрытое оружие, приводит к снижению количества убийств в штате на 3,3% ? Считаете ли вы, что от 10 до 20% снижения преступности в 1990-х годах было вызвано увеличением абортов в 1970-х? Или что уровень убийств увеличился бы на 250% с 1974 года, если бы Соединённые Штаты не построили так много новых тюрем? Поверили ли вы предсказаниям о том, что реформа социального обеспечения 1990-х годов вынудит 1 100 000 детей оказаться в бедности?

Если вы были введены в заблуждение каким-либо из этих исследований, возможно, вы попали на пагубную форму мусорной науки: использование математического моделирования для оценки воздействия социальной политики. Эти исследования внешне впечатляют. Подготовленные авторитетными социологами из престижных институтов, они часто публикуются в рецензируемых научных журналах. Они наполнены статистическими расчётами, слишком сложными для распутывания кого-либо, кроме другого специалиста. Они приводят точные числовые «факты», которые часто цитируются в политических дебатах. Но эти «факты» оказываются неискренними. Часто, прежде чем высыхают чернила в одном очевидно окончательном исследовании, появляется другое с такими же точными и убедительными, но совершенно другими «фактами». Несмотря на свою числовую точность, эти «факты» не имеют большей достоверности, чем видения прорицателей.

Эти прогнозы основаны на статистическом методе, называемом множественной регрессией, который использует корреляционный анализ для создания причинных аргументов. Хотя экономисты являются ведущими практиками этого загадочного искусства, у социологов, криминологов и других социологов также есть его версии. Он известен под различными названиями, включая «эконометрическое моделирование», «моделирование структурным уравнением», «анализ пути» и просто «многомерный анализ». Все это способы использования корреляционных данных для создания причинных аргументов.

Проблема с этим, как известно любому, кто изучал статистику, заключается в том, что корреляция не является причинно-следственной связью. Корреляция между двумя переменными может быть «ложной», если она вызвана какой-либо третьей переменной. Исследователи множественной регрессии пытаются преодолеть проблему ложности, включив в анализ все переменные. Однако данные, доступные для этой цели, просто не подходят для этой задачи, и исследования неизменно терпят неудачу. Но многие социологи посвятили годы изучению и преподаванию регрессионного моделирования. Они продолжают использовать регрессию, чтобы выдвигать причинные аргументы, которые не подтверждаются их данными, но которые повторяются снова и снова в политических аргументах. Я называю эти аргументы мифами о множественной регрессии.

 

Пять мифов о множественной регрессии

 

Миф первый: больше оружия, меньше преступности.

Джон Лотт, экономист из Йельского университета, использовал эконометрическую модель, чтобы доказать, что «разрешение гражданам носить скрытое оружие сдерживает насильственные преступления, не увеличивая несчастных случаев».Лотт подсчитал, что каждый процент увеличения владения оружием среди населения приводит к снижению количества убийств на 3,3%. Лотт и его соавтор Дэвид Мастард опубликовали первую версию своего исследования в Интернете в 1997 году, и её скачали десятки тысяч людей. Это было предметом политических форумов, газетных колонок и часто довольно сложных дебатов во всемирной паутине. Дебаты следовали предсказуемым идеологическим линиям: один известный критик назвал исследование методологически несовершенным ещё до того, как она получила копию. В книге с запоминающимся названием «Больше оружия, меньше преступности» , – насмехался над своими критиками Лотт, обвиняя их в том, что они ставят идеологию выше науки.

Работа Лотта – пример статистического превосходства. У него больше данных и более сложный анализ, чем у всех, кто изучает эту тему. Он требует, чтобы каждый, кто хочет оспорить его аргументы, погрузился в очень сложный статистический аргумент, основанный на наборе данных, который настолько велик, что им нельзя даже манипулировать с помощью настольных компьютеров, используемых большинством социологов. Он рад поделиться своими данными с любым исследователем, который хочет их использовать, но большинство социологов устали от этой игры. Сколько времени исследователи должны тратить на воспроизведение и критику исследований с использованием методов, которые неоднократно терпели неудачу? Большинство исследователей в области контроля над огнестрельным оружием просто отвергли утверждения Лотта и Мастарда и продолжили свою работу. Два уважаемых исследователя уголовного правосудия, Фрэнк Зимринг и Гордон Хокинс (1997: 57), написали статью, в которой объясняют, что:

Точно так же, как господа Лотт и Мастард могут, используя одну модель детерминант убийства, произвести статистические остатки, предполагающие, что законы «должны издавать» уменьшают количество убийств, мы ожидаем, что решительный эконометрист может произвести трактовку одних и тех же исторических периодов с помощью различных моделей и противоположные эффекты. Эконометрическое моделирование – палка о двух концах, поскольку позволяет статистическим выводам согреть сердца истинных верующих любого толка.

Зимринг и Хокинс были правы. В течение года два решительных эконометриста, Дэн Блэк и Дэниел Нагин (1998) опубликовали исследование, показывающее, что если они немного изменили статистическую модель или применили её к различным сегментам данных, результаты Лотта и Мастарда исчезли. Блэк и Нагин обнаружили, что, когда Флорида была исключена из выборки, «не было заметного воздействия законов о праве ношения на количество убийств и изнасилований». Они пришли к выводу, что «вывод, основанный на модели Лотта и Мастарда, неуместен, и их результаты не могут быть ответственно использованы для формулирования государственной политики».

 

Миф второй: заключение в тюрьму большего количества людей снижает преступность

Дело Лотта и Мастарда было исключительным только в том смысле, что оно привлекло внимание общественности. Довольно часто, даже типично, когда конкурирующие исследования публикуются с использованием эконометрических методов, чтобы прийти к противоположным выводам об одном и том же наборе данных. В одном исключительно откровенном заявлении о разочаровании таким положением дел два уважаемых криминолога, Томас Марвелл и Карлайл Муди (1997: 221), сообщили о результатах проведённого ими исследования влияния заключения на уровень убийств. Они сообщили, что они:

широко распространяли [свои] результаты вместе с использованными данными среди коллег, специализирующихся на количественном анализе. Наиболее частый ответ – они отказываются верить результатам, независимо от того, насколько хорош статистический анализ. За этим утверждением стоит часто обсуждаемое неформально, но редко публикуемое мнение, что социологи могут получить любой желаемый результат, манипулируя применяемыми процедурами. Фактически, широкий спектр оценок воздействия тюремных контингентов рассматривается как хорошее свидетельство гибкости исследований. Вывод, даже среди многих, кто регулярно публикует количественные исследования, заключается в том, что независимо от того, насколько тщательный анализ, результаты не заслуживают доверия, если они не соответствуют предыдущим ожиданиям. В таких рамках исследовательская дисциплина не может добиться успеха.

К их огромным достоинствам Марвелл и Муди откровенно признали проблемы, связанные с множественной регрессией, и внесли несколько предложений по улучшению. Однако это скорее исключение, чем правило для эконометристов, которые часто настолько погружаются в свои модели, что теряют представление о том, насколько они произвольны. Многие из них приходят к выводу, что их модели более реальны, более достоверны, чем беспорядочная, непокорная, «неконтролируемая» реальность, которую они пытаются объяснить.

 

Миф третий: казнь снижает преступность.

В 1975 году журнал American Economic Review опубликовал статью ведущего экономиста Исаака Эрлиха из Мичиганского университета, который подсчитал, что каждая казнь предотвращает восемь убийств. До Эрлиха самым известным специалистом по эффективности смертной казни был Торстен Селлен, который использовал гораздо более простой метод анализа. Селлен подготовил графики, сравнивающие тенденции в разных штатах. Он не нашёл разницы между штатами со смертной казнью или без неё, поэтому пришёл к выводу, что смертная казнь не имеет значения. Эрлих, демонстрируя превосходство в статистике, заявил, что его анализ был более достоверным, поскольку он учитывал все факторы, влияющие на уровень убийств.

Ещё до публикации работа Эрлиха была процитирована Генеральным солиситором Соединенных Штатов в записке amicus curiae, поданной в Верховный суд США в защиту смертной казни. К счастью, Суд решил не полагаться на показания Эрлиха, поскольку они не были подтверждены другими исследователями. Это было мудро, потому что в течение года или двух другие исследователи опубликовали столь же сложные эконометрические анализы, показывающие, что смертная казнь не имела сдерживающего эффекта.

Разногласия по поводу работы Эрлиха были настолько важны, что Национальный исследовательский совет созвал группу экспертов с голубой лентой, чтобы рассмотреть её. После очень тщательного анализа комиссия решила, что проблема не только в модели Эрлиха, но и в использовании эконометрических методов для разрешения споров по поводу политики уголовного правосудия. Они (Manski, 1978: 422) пришли к выводу, что:

Поскольку данные, которые, вероятно, будут доступны для такого анализа, имеют ограничения, и поскольку преступное поведение может быть настолько сложным, не следует ожидать появления окончательного поведенческого исследования, которое положит конец спорам о поведенческих эффектах политики сдерживания.

Эти критики не убедили Эрлиха, и он нашел недостатки в их работе. Он остается одиноким, искренне верящим в справедливость своей модели. В недавнем интервью (Боннер и Фессендрен, 2000) он настаивал на том, что «если учитывать такие вариации, как безработица, неравенство доходов, вероятность задержания и готовность применять смертную казнь, смертная казнь оказывает значительное сдерживающее воздействие».

 

Миф четвертый: легализованные аборты привели к снижению преступности в 1990-е годы.

В 1999 году Джон Донохью и Стивен Левитт опубликовали исследование с новым объяснением резкого снижения количества убийств в 1990-х годах. Они утверждали, что легализация абортов Верховным судом США в 1973 году привела к уменьшению рождаемости нежеланных детей, непропорционально большое число которых выросло бы и стали преступниками. Проблема в том, что легализация абортов была разовым историческим событием, и данных для достоверного регрессионного анализа слишком мало. Результаты могут отличаться в зависимости от того, как данные отбираются для анализа. В данном случае, как указал Джеймс Фокс (2000: 303): «Используя единственную статистическую информацию об изменениях за этот двенадцатилетний период, [Донохью и Левитт] упускают из виду большую часть изменений преступности за этот период – тенденцию к росту в течение этого периода. эра трещины в конце 1980-х и нисходящая коррекция в годы после трещины. Это что-то вроде изучения влияния фаз Луны на океанские приливы, но запись данных только для периодов отлива ».

Когда я писал эту статью, я включил предложение, гласящее, что «скоро другой аналитик регрессии, вероятно, повторно проанализирует те же данные и придет к другим выводам». Несколько дней спустя моя жена передала мне газетный рассказ о таком исследовании. Автором книги был не кто иной, как Джон Лотт из Йельского университета и Джон Уитли из Университета Аделаиды. Они собрали те же цифры и пришли к выводу, что «легализация абортов повысила уровень убийств примерно на 0,5–7 процентов» (Lott and Whitely, 2001).

Почему такие заметно разные результаты? Каждый набор авторов просто выбрал другой способ анализа неадекватной совокупности данных. Эконометрика не может сделать действующий общий закон из того исторического факта, что аборты были легализованы в 1970-х, а преступность снизилась в 1990-х. Нам понадобится по крайней мере несколько десятков таких исторических опытов для значимого статистического теста.

 

Миф пятый: реформа системы социального обеспечения приведёт к бедности миллион детей.

1 августа 1996 года, когда Сенат Соединённых Штатов счёл эпохальное изменение в политике социального обеспечения, Институт городского развития выпустил широко разрекламированный отчет, в котором утверждалось, что: предлагаемые изменения в реформе социального обеспечения приведут к увеличению бедности и снижению доходов семей из группы с самым низким доходом. … По нашим оценкам, в результате за чертой бедности окажется еще 2,6 миллиона человек, в том числе 1,1 миллиона детей. (Городской институт, 1996, с. 1)

Защитники социального обеспечения сплотились вокруг этого предсказания, но политиков это не убедило. Сенаторы, поддержавшие реформу, просто не верили, что социологи могут делать достоверные прогнозы такого рода. И они были правы. Институт урбанистики не мог даже предсказать направление изменений, не говоря уже об их величине. После реформы системы социального обеспечения детская бедность снизилась, а не выросла.

Модель Urban Institute была намного сложнее, чем другие модели, которые мы рассмотрели в этой статье, но дополнительная сложность, похоже, только усугубила проблему. Используя изощрённые методы «микросимуляции», они взяли корреляции, существовавшие в прошлом, вложили их в сложные уравнения, а затем обработали эти уравнения как общие законы. Вся их математика была основана на предположении, что ничего фундаментального не изменится, и в этом случае, конечно, реформа социального обеспечения потерпит неудачу. Все, что делала модель, – это выдавали числа, чтобы проиллюстрировать их аргументы и сделать их научными. Но цель реформы заключалась в том, чтобы что-то изменить, и это произошло.

 

Почему не удается регрессия

Хотя они кажутся сложными, регрессионные модели на самом деле являются упрощением реального мира. Для упрощения математики в регрессии используются линейные уравнения. Это означает, что предполагается, что если вы построите взаимосвязь между любыми двумя переменными на графике, тренд будет выглядеть как прямая линия. В регрессионных моделях также предполагается, что переменные распределены по классической колоколообразной нормальной кривой. И это предполагает, что аналитики знают, какие переменные являются причинами, а какие – следствиями. Конечно, регрессионные аналитики знают, что реальный мир не соответствует их предположениям, и для компенсации вносят различные корректировки в данные. Но корректировки создают другие проблемы. Единственный действенный способ проверить модель после всех этих корректировок – показать, что она работает для прогнозирования будущих тенденций. Модели регрессии, которые не были продемонстрированы для работы со свежими данными, кроме данных, используемых для их создания, являются мусорной наукой.

 

Почему не работает регрессия: линейные модели нелинейного мира.

Столкнувшись с нелинейностью реального мира, первый инстинкт разработчика регрессионных моделей – стандартизировать и контролировать данные. При этом они минимизируют или исключают наиболее интересные и важные исторические события. В конечном итоге они анализируют стандартизированный и идеализированный мир, мало имеющий отношения к реальности. Например, рассмотрим тенденции роста числа заключённых и убийств, которые пытались объяснить Марвелл и Муди (1997). Их статья начинается с графика, показывающего тенденции в количестве заключённых на 100 000 человек и убийств на 1 000 000 человек в Соединенных Штатах. Этот очень интересный и полезный график воспроизводится ниже по их данным.

Интересные особенности тенденций, отображаемых на графике, – это поворотные точки, места, где тенденции отклоняются от линейности. Уровень убийств резко увеличился с середины 1960-х до начала 1970-х годов, а затем стабилизировался. Число заключённых заметно выросло в начале 1970-х годов, когда Соединённые Штаты построили больше тюрем в ответ на рост преступности. Уровень убийств стабилизировался в 1980-х годах и после этого оставался стабильным.

Вместо того, чтобы пытаться объяснить эти важные поворотные моменты, Марвелл и Муди использовали несколько техник регрессии, чтобы «контролировать» это. Они ввели элементы управления для каждой измеряемой переменной, которую они могли придумать, включая (Marvell and Moody, 1997: 209) «возрастную структуру, экономические факторы, общественную помощь, расу и переменные, характеризующие Вторую мировую войну и эпидемию крэка».

Все эти средства контроля стерли из своих данных поразительные исторические изменения. Это привело их к выводу, что увеличение числа заключённых на 10% приводит к сокращению количества убийств примерно на 13%. Но простой просмотр их графика показывает, что обещанного снижения количества убийств на 13% на каждые 10% увеличения количества заключённых с 1975 года просто не произошло.

Марвелл и Муди были обеспокоены тем, что ожидаемого сокращения не произошло, но этого было недостаточно, чтобы заставить их отказаться от своих эконометрических методов. В конце концов, они обсуждали не реальный мир, а мир, упрощённый и очищенный с помощью длинной серии математических корректировок. Столкнувшись с историческими фактами, они утверждали, что, если бы тюремное заключение не увеличилось, количество убийств стало бы намного хуже. Однако они отметили, что на самом деле этого никогда бы не произошло, потому что правительство предприняло бы другие действия, чтобы предотвратить это.

Но какова ценность анализа, который приводит к выводам, которые, как понимают авторы, никогда не могут иметь места? Насколько верной может быть теория, лежащая в основе множественного регрессионного анализа, если она не учитывает ключевые переменные, такие как политические ограничения, просто потому, что их невозможно измерить количественно? Насколько результаты зависят от произвольных решений о том, какие управляющие переменные ввести и как их измерить? Марвелл и Муди остались со статистикой, которая якобы рассказывала нам, что могло бы случиться, если бы на самом деле ничего не произошло.

 

Почему не работает регрессия: мир не является кривой в форме колокола.

В дополнение к линейности множественная регрессия предполагает, что каждая переменная «нормально» распределена по всем остальным в классической модели кривой колокола. Это означает, что большинство случаев следует сгруппировать вокруг среднего значения в каждой категории, а несколько случаев – крайних значений. Часто данные существенно нарушают это предположение, что приводит к полностью ошибочным результатам. Хороший пример – данные Джона Лотта о контроле над огнестрельным оружием.

Лотт собрал огромный массив данных, который щедро предоставил другим исследователям. К сожалению, он не начал с построения графиков своих данных, возможно, потому, что у него их было так много. Но всегда полезно начинать анализ с графиков, чтобы увидеть тенденции до того, как они будут скрыты из-за всех статистических корректировок. Если невозможно изобразить все в виде графика, все же стоит изобразить некоторые типичные случаи. Итак, используя данные Лотта, я построил график тенденций в уровне убийств для ряда округов, где законы о «издании» вступили в силу в период, охватываемый его исследованием. До того, как были приняты законы «об издании», местные власти имели дискреционные полномочия по выдаче разрешений на ношение скрытого оружия. После того, как они были приняты, они должны были выдать разрешение любому законопослушному взрослому, который хотел его. Если бы гипотеза Лотта была верна, можно было бы ожидать, что после принятия законов количество убийств снизится.

На следующем графике показаны тенденции в уровне убийств для крупнейших округов в нескольких штатах, которые приняли законы «об обязательном издании» в период с 1977 по 1992 год. Дата вступления в силу законов варьировалась от штата к штату. Прежде чем читать дальше, читателю может быть интересно изучить график и попытаться сделать вывод, когда закон вступил в силу в каждом округе.

Изучая график, мы видим, что картина в округе Миссула, штат Монтана, кажется довольно неустойчивой, с очень резким снижением уровня убийств в 1979 и 1991 годах. Однако это не реальное явление, а результат одного из поправки, которые Лотт сделал, чтобы компенсировать ненормальность своих данных. Вместо того, чтобы использовать реальные числа, он преобразовал их в натуральные логарифмы. Это обычная практика, поскольку натуральные логарифмы часто лучше соответствуют предположениям множественной регрессии, чем фактические данные. Число в файле данных Джона Лотта для округа Миссула за те годы составляет -2,30. Это странно, поскольку количество убийств в округе не может опуститься ниже нуля, если ранее убитые люди не возвращаются к жизни. Однако не повезло. Чтобы получить фактическое количество убийств в каждом округе, нужно инвертировать логарифмы в наборе данных Лотта по формуле истинная частота = e логарифмическая скорость , где e = 2,71828. Это легко сделать с помощью кнопки e x на научном калькуляторе. Если ввести в такой калькулятор -2,3 и нажать кнопку e x , получится 0,100, или одна десятая часть убийства на 100 000 населения. Фактически, истинное число убийств в округе Миссула в 1979 и 1991 годах было нулевым. Лотт использовал 1 вместо нуля, потому что натуральный логарифм нуля математически не определен, поэтому оставление его равным нулю привело бы к отсутствию данных. В его файлах данных об убийствах очень много значений -2,3, потому что многие округа довольно маленькие, намного меньше, чем Миссула, с 81 904 людьми в 1992 году.

Распределение уровней убийств в американских округах совсем не близко к нормальной кривой в форме колокола. Есть очень много маленьких графств с небольшим количеством убийств или без них, и несколько довольно больших с очень многими. Преобразование данных в натуральные логарифмы – один из способов минимизировать статистические эффекты ненормальных распределений, но он может вносить другие искажения, как мы видим в этом случае.

Если оставить в стороне искажения в округе Миссула, вызванные преобразованием данных в натуральные логарифмы, тенденции в этих округах довольно плавные. Нет очевидного эффекта от введения законов о «выдаче» в округе Миссула в 1991 году, в округе Фултон (Атланта, штат Джорджия) в 1990 году, в округе Хайндс (Джексон, штат Миссисипи) в 1990 году, в округе Фэрфакс (Фэрфакс, Вирджиния) в 1988 г. и в округе Канава (Чарльстон, Западная Вирджиния) в 1989 г.

Можно спросить, почему мы имеем дело с этими округами среднего размера, а не с крупными населёнными пунктами? Это было моим первым ключом к фундаментальному изъяну аргументации Лотта. Моим первым желанием было составить график тенденций в крупнейших городах Америки, потому что именно там проблема убийств наиболее серьезна. Я сразу обнаружил, что ни в одном из этих городов не было закона «об издании». Законы о «выдаче» были введены в действие в первую очередь в штатах с низкой плотностью населения. Это означало, что данные Лотта не соответствовали фундаментальным предположениям регрессионного анализа. Для правильной работы множественной регрессии требуется, чтобы переменная «должна выдавать» нормально распределялась по набору данных. Математические вычисления, используемые для «контроля» ложных отношений, не могут работать, если не существует достаточного диапазона вариаций ключевых переменных. Это был «дымящийся пистолет», спрятанный в массе таблиц и сложных уравнений Лотта. Ни разу в книге он не признал этого факта. Когда я спросил его об этом, он пожал плечами. Он не считал это проблемой, поскольку «контролировал» численность населения.

Эти неточности в данных полностью опровергли анализ Лотта. Потребовалось два года, прежде чем Эйрес и Донохью (1999) подтвердили это эконометрическим анализом, но Зимринг и Хокинс сразу же сосредоточились на проблеме в 1997 году. Изучив законодательство о контроле над оружием, они знали, что законы о «выдаче» были приняты в штатах, где Национальная стрелковая ассоциация была мощной, в основном на юге, западе и в сельских районах. В этих штатах уже было несколько ограничений на оружие. Они отметили, что эта законодательная история расстраивает (Zimring and Hawkins 1997: 50), «нашу способность сравнивать тенденции в штатах, которые« должны выдать », с тенденциями в других штатах. нет, сравнения законодательных категорий всегда рискуют спутать демографические и региональные влияния с поведенческими последствиями различных правовых режимов ». Зимринг и Хокинс (1977: 51) далее отметили, что:

Лотт и Мастард, конечно, знают об этой проблеме. Их решение, стандартный эконометрический метод, состоит в том, чтобы построить статистическую модель, которая будет учитывать все различия между Айдахо и Нью-Йорком, которые влияют на уровень убийств и преступности, за исключением законов о «издании». Если можно «указать» основные факторы, влияющие на убийства, изнасилования, кражи со взломом и угоны автомобилей в нашей модели, то мы сможем исключить влияние этих факторов на различные тенденции. Лотт и Мастард создают модели, которые оценивают влияние демографических данных, экономических данных и уголовного наказания на различные правонарушения. Эти модели являются окончательными в статистике домашней кухни, поскольку они созданы для этих данных, установленных этими авторами, и проверены только на данных, которые будут использоваться для оценки воздействия права на ношение.

Лотт и Мастард сравнивали тенденции в Айдахо, Западной Вирджинии и Миссисипи с тенденциями в Вашингтоне, округ Колумбия, и Нью-Йорке. На самом деле произошел всплеск убийств, связанных с крэком, в крупных восточных городах в 1980-х и начале 1990-х годов, большинство из которых были среди людей, которые были достаточно хорошо вооружены, несмотря на отсутствие разрешений на оружие. Вся аргументация Лотта сводилась к утверждению, что в основном сельские и западные штаты, которые «должны издавать», были избавлены от эпидемии убийств, связанных с крэком, благодаря своим законам «должны издавать».К этому никогда бы не подошли всерьёз, если бы это не было скрыто за лабиринтом уравнений.

 

Почему не удаётся регрессия: отсутствие прогнозирующего тестирования.

Кислотным тестом в статистическом моделировании является предсказание. Полезная модель должна делать прогнозы лучше, чем случайные предположения. Только так можно различать причину и следствие и проверять причинные предсказания. Разработчики регрессионных моделей часто делают это с историческими данными, фактически используя данные из более далекого прошлого для предсказания более недавнего прошлого. Проблема заключается в том, что, когда результат уже известен, слишком легко настроить модель, чтобы она соответствовала известному результату. Это все равно, что использовать позавчерашнюю погоду для предсказания вчерашней погоды или позавчерашние цены акций для предсказания вчерашних цен. Это может быть полезно как способ обучения, но единственный действительно убедительный тест – это предсказать погоду на завтра или цены на акции. Этот критерий успеха в прогнозировании используется для оценки моделей финансовых рынков, погоды, медицинских результатов, демографических тенденций и многих других явлений. Все эти модели работают несовершенно, и регрессия даёт нам хорошее представление о том, насколько несовершенно.

К сожалению, исследователи, использующие эконометрические методы для оценки социальной политики, обычно не подвергают свои модели прогностическим тестам. Они могут сделать это, либо делая прогнозы на будущее и ожидая увидеть, что произойдёт, либо, если это займёт слишком много времени, разработав свою модель с данными из одной популяции, а затем используя её для прогнозирования результатов с другой популяцией. Но большинство исследователей просто этого не делают, а если и делают, то модели не работают, поэтому результаты никогда не публикуются. (Институт урбанистики сделал прогноз, но они не дождались результатов, чтобы опубликовать свои выводы. Когда данные показали, что их модель не работает, они просто удалили её со своего веб-сайта.)

Журналы, публикующие эти исследования, не нуждаются в прогностическом тестировании, что говорит о том, что редакторы и рецензенты не стремятся к своим областям. Вместо этого исследователи берут данные за фиксированный период времени и продолжают тонкую настройку и корректировку своей модели, пока не смогут «объяснить» тенденции это уже произошло .Всегда есть несколько способов сделать это, и с современными компьютерами не так уж сложно продолжать попытки, пока не найдете что-то подходящее. На этом этапе исследователь останавливается, записывает результаты и отправляет статью для публикации. Позже другой исследователь может скорректировать модель, чтобы получить другой результат. Это заполняет страницы журналов по общественным наукам и помогает молодым профессорам получить постоянную должность. Все делают вид, что не замечают, что прогресса мало или нет.

 

Альтернатива: настаивайте на понятных графиках и таблицах

Когда учёные из престижных университетов публикуют информацию о мусорной науке в средствах массовой информации и публикуют её в авторитетных реферируемых журналах, люди по понятным причинам скептически относятся к ценности исследований в области социальных наук. Несколько лет назад The Economist (13 мая 1995 г.) опубликовал ироническую редакционную статью, в которой заявлял, что «74,6% социологии – чушь». Циники задавались вопросом, не могла ли оценка быть заниженной. Но важно не выбрасывать ребёнка вместе с водой из ванны. В социологии, криминологии и других социальных науках ведётся серьёзная и вдумчивая работа, хотя она может не попасть в журналы, которые ценят статистическую сложность выше надёжных результатов. Для наиболее надёжной работы используются более простые статистические методы, которые не требуют такой большой корректировки и стандартизации данных. Это имеет большое преимущество в том, что это произведение может быть прочитано и использовано людьми, которые не посвятили годы своей жизни изучению малоизвестных эконометрических методов.

Исследования, в которых широко используются графики, такие как исследования Селлина (1959), Блюмштейна и Уоллмана (2000), были гораздо более успешными и информативными, чем регрессионные исследования. В качестве примера мощи простых графических методов мы можем построить график некоторых данных из набора данных Джона Лотта по управлению оружием. Когда набор данных настолько велик, может потребоваться выбрать небольшую его часть для построения графика, но это может быть весьма информативным, если выбор сделан правильно. Изучая данные Лотта, я обнаружил, что в штате Пенсильвания в 1989 г. был принят закон «О выдаче», но город Филадельфия был освобождён от него. Это предоставило прекрасную возможность для «естественного эксперимента», сравнивая тенденции в двух крупных городах, которые различались по ключевой переменной. На следующем графике сравниваются тенденции в Филадельфии, которая является городом и округом, с тенденциями в округе Аллегейни, в который входит Питтсбург. График показывает, что уровень убийств в Филадельфии, как правило, выше, чем в округе Аллегейни, но принятие закона, дающего гражданам право получать разрешения на ношение скрытого оружия, не имело положительного эффекта, заявленного Джоном Лоттом. Фактически, до принятия закона количество убийств в округе Аллегейни снижалось, а затем немного увеличилось. В Филадельфии количество убийств росло, затем стабилизировалось, несмотря на то, что новый закон не применялся в этом городе. Статистика насильственных преступлений в тех же двух округах показывает ту же картину. Подобная дезагрегация данных позволяет нам использовать наши качественные исторические знания при интерпретации статистических тенденций. Чтобы дискредитировать такой вывод, сторонникам скрытого оружия пришлось бы показать, как другие факторы каким-то образом компенсировали неспособность закона о выдаче какого-либо очевидного эффекта.

Выводы.

Этих случаев может быть достаточно, чтобы убедить большинство читателей в том, что множественная регрессия не очень полезна для доказательства причинных аргументов, по крайней мере, об историческом влиянии социальной политики. На самом деле проблема шире, и многие специалисты сомневаются, что множественная регрессия является действенным способом урегулирования любого вида теоретических аргументов. В 1985 году Стэнли Либерсон (1985: ix), выдающийся профессор Калифорнийского университета, написал: «Я полностью согласен с целями эмпирических исследований, которые можно найти в большей части современной социологии, с её упором на строгость и количественную оценку. Однако … я неохотно пришёл к выводу, что многие процедуры и допущения в этом предприятии не имеют большего значения, чем поиск вечного двигателя ». В 1991 году Дэвид Фридман, выдающийся социолог Калифорнийского университета в Беркли и автор учебников по количественным методам исследования, пошатнул основы регрессионного моделирования в социальных науках, когда он откровенно заявил: «Я не думаю, что регрессия может многое принести бремени причинного аргумента. Уравнения регрессии сами по себе не очень помогают в контроле смешивающих переменных »(Freedman, 1991: 292).

Статья Фридмана вызвала ряд бурных откликов. Ричард Берк (1991: 315) заметил, что аргумент Фридмана «будет очень трудно принять большинству социологов, занимающихся количественными исследованиями. Он затрагивает самую суть их эмпирической деятельности и тем самым ставит под угрозу всю профессиональную карьеру».

Сообщество социальных наук не имеет хороших процедур для признания несостоятельности широко используемого метода исследования. Методы, закреплённые в программах магистратуры ведущих университетов и опубликованные в престижных журналах, как правило, сохраняются. Многие неспециалисты полагают, что если исследование было опубликовано в хорошем рецензируемом журнале, то есть некоторая уверенность в его достоверности. Рассмотренные здесь случаи показывают, что это не так. Рецензирование гарантирует соблюдение установленной практики, но мало помогает, когда сами эти практики ошибочны.

Найти недостатки в регрессионных исследованиях сложно. Обычно единственный способ быть в них уверенным – это получить набор данных и повторно проанализировать их. Это больше, чем можно ожидать от рецензента профессионального журнала. Чтобы воспроизвести исследование множественной регрессии, требуется время, обычно год или два, а многие исследования никогда не воспроизводятся, потому что они никого не интересуют. Даже если репликация сделана и не подтверждает исследования, редакторы журналов могут посчитать, что это просто случай нормальных научных дебатов. Проблема, однако, в том, что реального прогресса не происходит. Мы не приблизились к созданию полезной математической модели для прогнозирования уровня убийств, чем были, когда Эрлих опубликовал свою статью в 1975 году.

В социологии или криминологии нет важных открытий, которые были бы настолько сложными, что их нельзя было бы передать с помощью графиков и таблиц, понятных для интеллигентных обывателей и политиков. Пора признать, что у императора нет одежды. Множественная регрессия и другие методы математического моделирования просто не оправдали своих обещаний как метода оценки воздействия государственной политики. Исследования, которые утверждают обратное, являются мусорной наукой.

 

Ссылки

 

Айрес И. и Донохью Дж. (1999). «Недискреционные законы о скрытом оружии: тематическое исследование статистики, стандартов доказывания и государственной политики». Am. Law and Ec. Revv1: 436-470.

 

Берк, Р.А. (1991) «К методологии для простых смертных », Sociological Methodology 21: 315-324.

 

Блэк Д. и Нагин Д. (1998). “Сдерживают ли законы о праве на исполнение насильственных преступлений?” J. Legal Studies  27: 209-219.

 

Блюмштейн А. и Уоллман Дж. (Ред.), Снижение преступности в Америке, Издательство Кембриджского университета, Нью-Йорк, стр. 13-44.

 

Болдт, Д. (1999). «Study Evidence on Guns», Philadelphia Inquirer , 14 декабря. Загружено 17 мая 2000 г. с сайта http: // w w w.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm

 

Боннер, Р. и Фессендрен, Ф. (2000). «В штатах без смертной казни снижается уровень убийств», New York Times , 22 сентября. Загружено с: http://www.nytimes.com/2000/09/22/national/22DEAT.html .

 

Донохью, Дж. И Левитт, С. (1999). «Легализованные аборты и преступность». Юридический факультет Стэнфордского университета. Загружено в августе 2000 г. с: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 .

 

Эрлих, И. (1975). «Сдерживающий эффект смертной казни: вопрос жизни и смерти», Am. Ec. Р. 65: 397-417.

 

Фокс, Дж. (2000). «Демография и убийства в США», Блюмштейн, А. и Уоллман, Дж. (Ред.), Снижение преступности в Америке, Cambridge University Press, Нью-Йорк, стр. 288–317.

 

Фридман, Д.А. (1991) “Статистические модели и кожа обуви”. Sociological Methodology 21: 291-313.

 

Лотт, Дж. И Мастард, Д. (1997). «Преступление, сдерживание и право ношения скрытого огнестрельного оружия», J. Legal St. 26: 1-68. Загружено 10 августа 2000 г. с: http://www.journals.uchicago.edu/JLS/lott.pdf

 

Лотт, Дж. (2000). Больше оружия, меньше преступлений: понимание законов о преступности и контроле над оружием. University of Chicago Press, второе издание с дополнительным анализом.

 

Лотт, Дж. И Дж. Уитли, «Аборты и преступность: нежелательные дети и внебрачные роды», Yale Law & Economics Research Paper № 254. Загружено 9 июля 2001 г.

http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126 .

 

Мански, К. (1978). «Перспективы вывода о сдерживании посредством эмпирического анализа индивидуального преступного поведения». В Blumstein, C, et. др., Deterrence and Incapacitation Вашингтон: Национальная академия наук, стр. 400-424.

 

Марвелл, Т. и Муди, К. (1997). «Влияние роста тюрем на убийства». Homicide St. 1: 205-233.

 

Селлин, Т. (1959). The Death Penalty. Американский юридический институт, Филадельфия.

 

Зимринг, Ф. и Хокинс, Г. (1997). «Скрытые пистолеты: средство защиты от подделок », The Responsive Community 7: 46-60.