Мифы об убийстве и множественный регресс
Университет Рутгерса, Камден, штат Нью-Джерси, 08102
Опубликовано в The Skeptical Inquirer, том 26, № 1, январь / февраль 2002 г., стр. 19–23.
Если вам нужна более длинная техническая версия этого документа в формате Word, щелкните здесь .
Верите ли вы, что каждый раз, когда заключенного казнят в Соединенных Штатах, предотвращается восемь будущих убийств? Считаете ли вы, что увеличение на 1% числа граждан, имеющих лицензию на ношение скрытого оружия, приводит к снижению количества убийств в штате на 3,3%? Считаете ли вы, что от 10 до 20% снижения преступности в 1990-х годах было вызвано увеличением абортов в 1970-х? Или что уровень убийств увеличился бы на 250% с 1974 года, если бы Соединенные Штаты не построили так много новых тюрем?
Если вы были введены в заблуждение каким-либо из этих исследований, вы, возможно, попались на пагубную форму мусорной науки: использование математических моделей без продемонстрированной прогностической способности делать политические выводы. Эти исследования внешне впечатляют. Написанные авторитетными социологами из престижных институтов, они часто публикуются в рецензируемых научных журналах. Наполненные сложными статистическими расчетами, они дают точные числовые «факты», которые можно использовать в качестве аргументов спорщиков в политических аргументах. Но это «фактами» не назовешь. Прежде чем высохнут чернила в одном исследовании, появляется другое с совершенно другими «фактами». Несмотря на свой научный вид, эти модели не соответствуют основному критерию полезной математической модели: способности делать прогнозы лучше, чем случайные.
Хотя экономисты являются ведущими практиками этого загадочного искусства, у социологов, криминологов и других социологов также также есть его версии. Оно известно под различными названиями, включая «эконометрическое моделирование», «моделирование структурным уравнением» и «анализ пути». Все это способы использования корреляций между переменными для создания причинных выводов. Проблема с этим, как известно любому, кто прошёл курс статистики, состоит в том, что корреляция не является причинно-следственной связью. Корреляции между двумя переменными часто бывают «ложными», потому что они вызваны какой-то третьей переменной. Разработчики эконометрических моделей пытаются решить эту проблему, включая в свой анализ все соответствующие переменные, используя статистический метод, называемый «множественной регрессией».Если бы у кого-то были точные измерения всех причинных переменных, это сработало бы. Но данных никогда не бывает достаточно. Неоднократные попытки использовать множественную регрессию для получения окончательных ответов на вопросы государственной политики потерпели неудачу.
Но многие социологи не хотят признавать неудачи. Они посвятили годы изучению и преподаванию регрессионного моделирования и продолжают использовать регрессию для создания причинных аргументов, которые не подтверждаются их данными. Я называю эти аргументы мифами о множественной регрессии и хотел бы использовать в качестве примеров четыре исследования уровня убийств.
Миф первый: больше оружия, меньше преступности.
Джон Лотт, экономист из Йельского университета, использовал эконометрическую модель, чтобы доказать, что «разрешение гражданам носить скрытое оружие сдерживает насильственные преступления, не увеличивая несчастных случаев». Проведённый Лотт анализ «должен издавать» законы, требующие от местных властей выдавать разрешение на скрытое оружие любому законопослушному гражданину, который подаёт на него такое разрешение. Лотт подсчитал, что каждый процент увеличения владения оружием среди населения приводит к снижению количества убийств на 3,3%. Лотт и его соавтор Дэвид Мастард разместили первую версию своего исследования в Интернете в 1997 году, и десятки тысяч людей скачали её. Это исследование было предметом политических форумов, газетных колонок и часто довольно сложных дебатов во всемирной паутине. В книге с запоминающимся названием «Больше оружия, меньше преступлений» Лотт насмехался над своими критиками, обвиняя их в том, что они ставят идеологию выше науки.
Работа Лотта – пример статистического превосходства. У него больше данных и более сложный анализ, чем у всех, кто изучает эту тему. Он требует, чтобы каждый, кто хочет оспорить его аргументы, погрузился в очень сложную статистическую дискуссию, основанную на вычислениях, настолько сложных, что они не могут быть выполнены на обычных настольных компьютерах. Он призывает всех, кто с ним не согласен, загрузить его набор данных и повторить свои расчеты, но большинство социологов не думают, что им стоит копировать исследования с использованием методов, которые неоднократно терпели неудачу. Большинство исследователей в области контроля над огнестрельным оружием просто отвергли утверждения Лотта и Мастарда и продолжили свою работу. Два уважаемых исследователя уголовного правосудия, Фрэнк Зимринг и Гордон Хокинс (1997), написали статью, в которой объясняют, что:»
Точно так же, как господа Лотт и Мастард могут, используя одну модель детерминант убийства, произвести статистические остатки, предполагающие, что законы «должны издавать» уменьшают количество убийств, мы ожидаем, что решительный эконометрист может произвести трактовку одних и тех же исторических периодов с помощью различных моделей и противоположные эффекты. Эконометрическое моделирование – палка о двух концах, поскольку позволяет статистическим выводам согреть сердца истинных верующих любого толка.»
Зимринг и Хокинс были правы. В течение года два решительных эконометриста, Дэн Блэк и Дэниел Нагин (1998) опубликовали исследование, показывающее, что если они немного изменили статистическую модель или применили её к различным сегментам данных, результаты Лотта и Мастарда исчезли. Блэк и Нагин обнаружили, что, когда Флорида была удалена из выборки, «не было заметного воздействия законов о праве ношения на количество убийств и изнасилований». Они пришли к выводу, что «вывод, основанный на модели Лотта и Мастарда, неуместен, и их результаты не могут быть ответственно использованы для формулирования государственной политики».
Джон Лотт, однако, оспорил их анализ и продолжал продвигать свой собственный. Лотт собирал данные по каждому округу Америки за каждый год с 1977 по 1992 год. Проблема в том, что округа Америки сильно различаются по размеру и социальным характеристикам. На несколько крупных округах, содержащих крупные города, приходится очень большой процент убийств в Соединенных Штатах. Как оказалось, ни в одном из этих очень крупных округов нет законов о запрете на выпуск оружия. Это означает, что массивный набор данных Лотта просто не подходил для его задачи. У него не было изменений в своей ключевой причинной переменной – «должен издавать» законы – в местах, где происходило большинство убийств.
Он не упоминал об этом ограничении ни в своей книге, ни в статьях. Когда я обнаружил отсутствие законов «об издании» в крупных городах при моем собственном исследовании его данных, я спросил его об этом. Он пожал плечами, сказав, что в своём анализе он «контролировал» размер популяции. Но введение статистического контроля в математический анализ не компенсировало того факта, что у него просто не было данных по крупным городам, где проблема убийств стояла наиболее остро.
Мне потребовалось некоторое время, чтобы найти эту проблему в его данных, поскольку я не был знаком с проблемой контроля над оружием. Но Зимринг и Хокинс сразу обратили на это внимание, потому что они знали, что законы «должны издавать» были введены в штатах, где была сильна Национальная стрелковая ассоциация, в основном на юге, западе и в сельских районах. В этих штатах уже было несколько ограничений на оружие. Они отметили, что эта законодательная история подрывает «нашу способность сравнивать тенденции в штатах, которые« должны выдать », с тенденциями в других штатах. Поскольку штаты, в которых было внесено изменение законодательства, отличаются по местоположению и конституции от штатов, которые этого не сделали, сравнения по категориям законодательства всегда будут рискуют спутать демографические и региональные влияния с поведенческим воздействием различных правовых режимов “. Зимринг и Хокинс далее отметили, что:
Лотт и Мастард, конечно, знают об этой проблеме. Их решение, стандартный эконометрический метод, состоит в том, чтобы построить статистическую модель, которая будет учитывать все различия между Айдахо и Нью-Йорком, которые влияют на уровень убийств и преступности, за исключением законов о «издании». Если можно «указать» основные факторы, влияющие на убийства, изнасилования, кражи со взломом и угоны автомобилей в нашей модели, то мы сможем исключить влияние этих факторов на различные тенденции. Лотт и Мастард создают модели, которые оценивают влияние демографических данных, экономических данных и уголовного наказания на различные правонарушения. Эти модели являются окончательными в статистике домашней кухни, поскольку они созданы для этих данных, установленных этими авторами, и проверены только на данных, которые будут использоваться для оценки воздействия права на ношение.
Лотт и Мастард сравнивали тенденции в Айдахо, Западной Вирджинии и Миссисипи с тенденциями в Вашингтоне, округ Колумбия, и Нью-Йорке. На самом деле произошёл всплеск убийств, связанных с крэком, в крупных восточных городах в 1980-х и начале 1990-х годов. Вся аргументация Лотта сводилась к утверждению, что в основном сельские и западные штаты, «которые должны выдавать», были избавлены от эпидемии убийств, связанных с крэком, благодаря своим законам «должны выдавать». К этому никогда бы не подошли всерьёз, если бы это не было скрыто за лабиринтом уравнений.
Миф второй: заключение в тюрьму большего количества людей снижает преступность
Дело Лотта и Мастарда было исключительным только в том смысле, что оно привлекло внимание общественности. Довольно часто, даже типично, когда конкурирующие исследования публикуются с использованием эконометрических методов, чтобы прийти к противоположным выводам по одному и тому же вопросу. Часто в любом из анализов нет ничего явно неправильного. Они просто используют немного разные наборы данных или разные методы для достижения разных результатов. Кажется, что разработчики регрессионного моделирования могут достичь любого желаемого результата, никоим образом не нарушая правил регрессионного анализа. В одном исключительно откровенном заявлении о разочаровании таким положением дел два уважаемых криминолога, Томас Марвелл и Карлайл Муди (1997: 221), сообщили о результатах проведённого ими исследования влияния заключения на уровень убийств. Они сообщили, что они:
широко распространяли [свои] результаты вместе с использованными данными среди коллег, специализирующихся на количественном анализе. Самый частый ответ – они отказываются верить результатам, независимо от того, насколько хорош статистический анализ. За этим утверждением стоит часто обсуждаемое неформально, но редко публикуемое мнение, что социологи могут получить любой желаемый результат, манипулируя применяемыми процедурами. Фактически, широкий спектр оценок воздействия тюремных контингентов рассматривается как хорошее свидетельство гибкости исследований. Вывод, даже среди многих, кто регулярно публикует количественные исследования, заключается в том, что независимо от того, насколько тщательный анализ, результаты не заслуживают доверия, если они не соответствуют предыдущим ожиданиям. В таких рамках исследовательская дисциплина не может добиться успеха.
К их огромным достоинствам Марвелл и Муди откровенно признали проблемы множественной регрессии и внесли несколько предложений по улучшению. К сожалению, некоторые эконометристы настолько погружаются в свои модели, что теряют понимание того, насколько они произвольны. Они приходят к выводу, что их модели более реальны, более достоверны, чем беспорядочная, непокорная, «неконтролируемая» реальность, которую они пытаются объяснить.
Миф третий: казнь снижает преступность
В 1975 году журнал American Economic Review опубликовал статью ведущего экономиста Исаака Эрлиха из Мичиганского университета, который подсчитал, что каждая казнь предотвращает восемь убийств. До Эрлиха самым известным специалистом по эффективности смертной казни был Торстен Селлен, который использовал гораздо более простой метод анализа. Селлен подготовил графики, сравнивающие тенденции в разных штатах. Он не нашёл разницы между штатами со смертной казнью или без неё, поэтому пришёл к выводу, что смертная казнь не имеет значения. Эрлих, демонстрируя превосходство в статистике, заявил, что его анализ был более достоверным, поскольку он учитывал все факторы, влияющие на уровень убийств.
Еще до публикации работа Эрлиха была процитирована генеральным солиситором Соединенных Штатов в записке amicus curiae, поданной в Верховный суд Соединенных Штатов в защиту смертной казни. К счастью, Суд решил не полагаться на показания Эрлиха, поскольку они не были подтверждены другими исследователями. Это было мудро, потому что в течение года или двух другие исследователи опубликовали столь же сложные эконометрические анализы, показывающие, что смертная казнь не имела сдерживающего эффекта.
Разногласия по поводу работы Эрлиха были настолько важны, что Национальный исследовательский совет созвал группу экспертов с голубой лентой, чтобы рассмотреть ее. После очень тщательного анализа группа решила, что проблема не только в модели Эрлиха, но и в идее использования эконометрических методов для разрешения споров по поводу политики уголовного правосудия. Они (Manski, 1978: 422) пришли к выводу, что:
Поскольку данные, которые, вероятно, будут доступны для такого анализа, имеют ограничения, и поскольку преступное поведение может быть настолько сложным, не следует ожидать появления окончательного поведенческого исследования, которое положит конец спорам о поведенческих эффектах политики сдерживания.
Большинство экспертов теперь считают, что Селлен был прав, что смертная казнь не оказывает очевидного влияния на количество убийств. Но Эрлиха не убедили. Теперь он одинокий, искренне верящий в справедливость своей модели. В недавнем интервью (Боннер и Фессендрен, 2000) он настаивал, что «если учитывать такие вариации, как безработица, неравенство доходов, вероятность задержания и готовность применять смертную казнь, смертная казнь проявляет значительный сдерживающий эффект».
Миф четвертый: легализованные аборты привели к снижению преступности в 1990-е годы.
В 1999 году Джон Донохью и Стивен Левитт опубликовали исследование с новым объяснением резкого снижения количества убийств в 1990-х годах. Они утверждали, что легализация абортов Верховным судом США в 1973 году привела к сокращению рождаемости нежеланных детей, непропорционально большое количество которых превратилось бы в преступников. Проблема с этим аргументом состоит в том, что легализация абортов была разовым историческим событием, а разовые события не предоставляют достаточно данных для достоверного регрессионного анализа. Это правда, что в одних штатах аборты были легализованы раньше, чем в других, и Донохью и Левитт используют этот факт. Но все эти государства переживали одни и те же исторические процессы, и многое другое происходило в тот же исторический период, который повлиял на уровень убийств. Правильный регрессионный анализ должен учесть все эти вещи и проверить их в широком диапазоне вариаций. Существующие данные не позволяют выполнить это, поэтому результаты регрессионного анализа будут варьироваться в зависимости от того, какие данные выбраны для анализа.
В этом случае Донохью и Левитт предпочли сосредоточиться на изменениях за двенадцать лет, игнорируя колебания в течение этих лет. Поступая таким образом, как отмечал Джеймс Фокс (2000: 303), «они упустили большую часть изменений преступности в этот период – восходящую тенденцию в эпоху крэка конца 1980-х годов и нисходящую коррекцию в годы пост-крэка, что-то вроде изучения влияния лунных фаз на океанские приливы, но запись данных только для периодов отлива ».
Когда я писал эту статью, я включил предложение, гласящее, что «скоро другой аналитик регрессии, вероятно, повторно проанализирует те же данные и придёт к другим выводам». Несколько дней спустя моя жена передала мне газетный рассказ о таком исследовании. Автором книги был не кто иной, как Джон Лотт из Йельского университета и Джон Уитли из Университета Аделаиды. Они собрали те же цифры и пришли к выводу, что «легализация абортов повысила уровень убийств примерно на 0,5–7 процентов» (Lott and Whitely, 2001).
Почему такие заметно разные результаты? Каждый набор авторов просто выбрал свой способ моделирования неадекватного массива данных. Эконометрика не может сделать действующий общий закон из того исторического факта, что аборты были легализованы в 1970-х годах, а преступность снизилась в 1990-х. Для достоверного статистического теста нам понадобится как минимум несколько десятков таких исторических опытов.
Выводы.
Кислотным тестом в статистическом моделировании является предсказание. Прогноз не обязательно должен быть идеальным. Если модель может предсказывать значительно лучше, чем случайное предположение, это полезно. Например, если бы модель могла предсказывать цены на акции даже немного лучше, чем случайное предположение, это сделало бы её владельцев очень богатыми. Поэтому много усилий было потрачено на тестирование и оценку моделей цен на акции. К сожалению, исследователи, использующие эконометрические методы для оценки социальной политики, очень редко подвергают свои модели прогностическим тестам. Их оправдание состоит в том, что результаты становятся известны слишком долго. Вы не получаете новые данные о бедности, абортах или убийствах каждые несколько минут, как о курсах акций. Но исследователи могут проводить прогностическое тестирование и другими способами. Они могут разработать модель, используя данные из одной юрисдикции или периода времени, а затем использовать её для прогнозирования данных из других времён или мест. Но большинство исследователей просто не делают этого, а если и делают, то модели терпят неудачу, а результаты никогда не публикуются.
Журналы, публикующие эконометрические исследования вопросов государственной политики, часто не требуют прогностического тестирования, что показывает, что редакторы и рецензенты не возлагают большие надежды на свои области. Таким образом, исследователи берут данные за фиксированный период времени и продолжают точную настройку и корректировку своей модели до тех пор, пока не смогут «объяснить» тенденции, которые уже произошли. Всегда есть несколько способов сделать это, и с современными компьютерами не так уж и сложно продолжать попытки, пока не найдете что-то подходящее. На этом этапе исследователь останавливается, записывает результаты и отправляет статью для публикации. Позже другой исследователь может скорректировать модель, чтобы получить другой результат. Этим заполняются страницы научных журналов, и все делают вид, что не замечают, что прогресса нет. Но сегодня мы не ближе к действующей эконометрической модели уровней убийств, чем были, когда Исаак Эрлих опубликовал первую модель в 1975 году.
У научного сообщества нет хороших процедур для признания несостоятельности широко используемого метода исследования. Методы, закреплённые в программах магистратуры ведущих университетов и опубликованные в престижных журналах, как правило, сохраняются. Многие неспециалисты считают, что если исследование было опубликовано в рецензируемом журнале, то оно действительно. Рассмотренные нами случаи показывают, что это не всегда так. Рецензирование гарантирует соблюдение установленной практики, но мало помогает, когда сами эти практики ошибочны.
В 1991 году Дэвид Фридман, выдающийся социолог из Калифорнийского университета в Беркли и автор учебников по количественным методам исследования, пошатнул основы регрессионного моделирования, когда он откровенно заявил: «Я не думаю, что регрессия может нести большую часть бремени в причинный аргумент. Уравнения регрессии сами по себе не очень помогают в контроле смешивающих переменных »(Freedman, 1991: 292). Статья Фридмана вызвала ряд бурных откликов. Ричард Берк (1991: 315) заметил, что аргумент Фридмана «будет очень трудно принять большинству социологов, занимающихся количественными исследованиями. Он затрагивает самую суть их эмпирической деятельности и тем самым ставит под угрозу всю профессиональную карьеру».
Столкнувшись с критиками, которым нужны доказательства того, что они могут предсказывать тенденции, разработчики регрессионных моделей часто прибегают к статистическому превосходству. Они делают аргументы настолько сложными, что только высококвалифицированные аналитики регрессии могут их понять, не говоря уже о том, чтобы их опровергнуть. Часто этот прием срабатывает. Потенциальные критики просто сдаются в отчаянии. Дэвид Болдт из Philadelphia Inquirer (1999), после того как услышал доклад Джона Лотта о скрытом оружии и уровне убийств, а также сверился с другими экспертами, посетовал, что «попытка разобраться в научных аргументах – это почти глупое занятие. -статистика, фиктивные переменные и методы анализа данных «Пуассона» и «наименьших квадратов» ».
Болдт был прав, подозревая, что его заманивают на дурацкую миссию. На самом деле в социологии или криминологии нет важных открытий, которые нельзя было бы сообщить журналистам и политикам, не имеющим учёной степени в области эконометрики. Пора признать, что у императора нет одежды. При представлении эконометрической модели потребители должны настаивать на доказательствах того, что она может предсказывать тенденции в данных, отличных от данных, использованных для их создания . Модели, не прошедшие этот тест, являются мусорной наукой, независимо от того, насколько сложен анализ.
ССЫЛКИ
Берк, Ричард А. 1991. К методологии для простых смертных, “Социологическая методология”. 21: 315-324.
Болдт, Дэвид. 1999. « Изучение свидетельств об огнестрельном оружии », Philadelphia Inquirer, 14 декабря. Загружено 17 мая 2000 г. с: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.
Черный, Дэн. и Дэниел Нагин 1998. Сдерживают ли законы о праве ношения насильственных преступлений? Журнал юридических исследований 27: 209-219.
Боннер, Раймонд и Форд Фессендрен. 2000. В штатах, где не существует смертной казни, наблюдается более низкий уровень убийств », New York Times, 22 сентября. Загружено с: http://www.nytimes.com/2000/09/22/national/22DEAT.html .
Донохью, Джон и Стивен Левитт. 1999. Легализованные аборты и преступность. Юридический факультет Стэнфордского университета. Загружено в августе 2000 г. с: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 .
Фокс, Джеймс. 2000. Демография и убийства в США, В А. Блюмштейн и Дж. Уоллман (ред.), Снижение преступности в Америке , Cambridge University Press, Нью-Йорк, стр. 288–317.
Фридман, Дэвид 1991. Статистические модели и кожа обуви. Социологическая методология 21: 291-313.
Лотт, Джон. 2000. Больше оружия, меньше преступности: понимание законов о преступности и контроле над оружием . University of Chicago Press, второе издание с дополнительным анализом.
Лотт, Джон. и Джон Уитли. 2001. Аборты и преступность: нежеланные дети и внебрачные роды, Йельский исследовательский документ по праву и экономике № 254. Загружен 9 июля 2001 г. с: http://papers.ssrn.com/sol3/papers.cfm ? abstract_id = 270126 .
Марвелл, Томас и Карлайл Муди, C. 1997. Влияние роста числа тюрем на убийства. Исследования убийств 1: 205-233.
Зимринг, Фрэнк и Гордон Хокинс. 1997. Скрытые пистолеты: средство устрашения от подделок, The Responsive Community. 7: 46-60.