Економетричні моделювання як сміттєва наука
Тед Гертцель, Університет Рутгерса, Камден, штат Нью-Джерсі, 08102
голос: 609 953-1670 факс: 413 793-2597
Чи вірите ви, що кожен раз, коли ув’язненого стратять в Сполучених Штатах, запобігає вісім майбутніх вбивств? Чи вважаєте ви, що збільшення на 1% частки громадян штату, що носять прихована зброя, призводить до зниження кількості вбивств в штаті на 3,3%? Чи вважаєте ви, що від 10 до 20% зниження злочинності в 1990-х роках було викликано збільшенням абортів в 1970-х? Або що рівень вбивств збільшився б на 250% з 1974 року, якби Сполучені Штати не побудували так багато нових в’язниць? Чи повірили ви прогнозам про те, що реформа соціального забезпечення 1990-х років змусить 1 100 000 дітей виявитися в бідності?
Якщо ви були введені в оману будь-яким з цих досліджень, можливо, ви потрапили на згубну форму сміттєвої науки: використання математичного моделювання для оцінки впливу соціальної політики. Ці дослідження зовні вражають. Підготовлені авторитетними соціологами з престижних інститутів, вони часто публікуються в рецензованих наукових журналах. Вони наповнені статистичними розрахунками, занадто складними для розплутування кого-небудь, крім іншого фахівця. Вони призводять точні числові «факти», які часто цитуються в політичних дебатах. Але ці «факти» виявляються нещирими. Часто, перш ніж висихають чорнило в одному очевидно остаточному дослідженні, з’являється інше з такими ж точними і переконливими, але зовсім іншими «фактами». Незважаючи на свою числову точність, ці «факти» не мають більшої достовірності, ніж бачення віщунів.
Ці прогнози засновані на статистичному методі, званому множинної регресією, який використовує кореляційний аналіз для створення причинних аргументів. Хоча економісти є провідними практиками цього загадкового мистецтва, у соціологів, кримінологів та інших соціологів також є його версії. Він відомий під різними назвами, включаючи «економетричні моделювання», «моделювання структурним рівнянням», «аналіз шляху» і просто «багатовимірний аналіз». Все це способи використання кореляційних даних для створення причинних аргументів.
Проблема з цим, як відомо будь-кому, хто вивчав статистику, полягає в тому, що кореляція не є причинно-наслідковим зв’язком. Кореляція між двома змінними може бути «помилковою», якщо вона викликана будь-якої третьої змінної. Дослідники множинної регресії намагаються подолати проблему хибності, включивши в аналіз всі змінні. Однак дані, доступні для цієї мети, просто не підходять для цього завдання, і дослідження незмінно зазнають невдачі. Але багато соціологів присвятили роки вивчення та викладання регресійного моделювання. Вони продовжують використовувати регресію, щоб висувати причинні аргументи, які не підтверджуються їх даними, але які повторюються знову і знову в політичних аргументах. Я називаю ці аргументи міфами про множинної регресії.
П’ять міфів про множинної регресії
Міф перший: більше зброї, менше злочинності.
Джон Лотт, економіст з Єльського університету, використовував економетричну модель, щоб довести, що «дозвіл громадянам носити прихована зброя стримує насильницькі злочини, не збільшуючи нещасних випадків» .Лотт підрахував, що кожен відсоток збільшення володіння зброєю серед населення призводить до зниження кількості вбивств на 3 , 3%. Лотт і його співавтор Девід Мастард опублікували першу версію свого дослідження в Інтернеті в 1997 році, і її скачали десятки тисяч людей. Це було предметом політичних форумів, газетних колонок і часто досить складних дебатів у всесвітній павутині. Дебати йшли передбачуваним ідеологічним лініях: один відомий критик назвав дослідження методологічно недосконалим ще до того, як вона отримала копію. У книзі з прикметною назвою «Більше зброї, менше злочинності», – насміхався над своїми критиками Лотт, звинувачуючи їх у тому, що вони ставлять ідеологію вище науки.
Робота Лотта – приклад статистичного переваги. У нього більше даних і більш складний аналіз, ніж у всіх, хто вивчає цю тему. Він вимагає, щоб кожен, хто хоче оскаржити його аргументи, занурився в дуже складний статистичний аргумент, заснований на наборі даних, який настільки великий, що їм не можна навіть маніпулювати за допомогою настільних комп’ютерів, що використовуються більшістю соціологів. Він радий поділитися своїми даними з будь-яким дослідником, який хоче їх використовувати, але більшість соціологів втомилися від цієї гри. Скільки часу дослідники повинні витрачати на відтворення і критику досліджень з використанням методів, які неодноразово зазнавали невдачі? Більшість дослідників в галузі контролю над вогнепальною зброєю просто відкинули твердження Лотта і Мастарда і продовжили свою роботу. Два шановних дослідника кримінального правосуддя, Френк Зімрінг і Гордон Хокінс (1997: 57), написали статтю, в якій пояснюють, що: Точно так же, як пани Лотт і Мастард можуть, використовуючи одну модель детермінант вбивства, зробити статистичні залишки, які передбачають, що закони «повинні видавати» зменшують кількість вбивств, ми очікуємо, що рішучи Економетристи можуть призвести трактування одних і тих же історичних періодів за допомогою різних моделей і дати протилежні ефекти. Економетричні моделювання – палиця з двома кінцями, оскільки дозволяє статистичними висновками зігріти серця справжніх віруючих будь-якого штибу.
Зімрінг і Хокінс мали рацію. Протягом року два рішучих Економетристи, Ден Блек і Деніел Нагін (1998) опублікували дослідження, що показує, що якщо вони трохи змінили статистичну модель або застосували її до різних сегментів даних, результати Лотта і Мастарда зникли. Блек і Нагін виявили, що, коли Флорида була виключена з вибірки, «не було помітного впливу законів про право носіння на кількість вбивств і зґвалтувань». Вони прийшли до висновку, що «висновок, заснований на моделі Лотта і Мастарда, недоречний, і їх результати не можуть бути відповідально використані для формулювання державної політики».
Міф другий: ув’язнення більшої кількості людей знижує злочинність
Справа Лотта і Мастарда було винятковим тільки в тому сенсі, що воно привернуло увагу громадськості. Досить часто, навіть типово, коли конкуруючі дослідження публікуються з використанням економетричних методів, щоб прийти до протилежних висновків про одне й те ж наборі даних. В одному виключно відвертому заяві про розчарування таким станом справ два шанованих кримінологи, Томас Марвелл і Карлайл Муді (1997: 221), повідомили про результати проведеного ними дослідження впливу укладення на рівень вбивств. Вони повідомили, що вони:широко розповсюджували [свої] результати разом з використаними даними серед колег, що спеціалізуються на кількісному аналізі. Найбільш частий відповідь – вони відмовляються вірити результатам, незалежно від того, наскільки хороший статистичний аналіз. За цим твердженням варто часто обговорюване неформально, але рідко публікується думку, що соціологи можуть отримати будь-який бажаний результат, маніпулюючи застосовуваними процедурами. Фактично, широкий спектр оцінок впливу тюремних контингентів розглядається як гарне свідчення гнучкості досліджень. Висновок, навіть серед багатьох, хто регулярно публікує кількісні дослідження, полягає в тому, що незалежно від того, наскільки ретельний аналіз, результати не заслуговують на довіру, якщо вони не відповідають попереднім очікуванням. У таких рамках дослідницька дисципліна не може добитися успіху.
До їх величезним достоїнств Марвелл і Муді відверто визнали проблеми, що пов’язані з множинною регресією, і внесли кілька пропозицій щодо поліпшення. Однак це швидше виняток, ніж правило для Економетристи, які часто настільки занурюються в свої моделі, що втрачають уявлення про те, наскільки вони довільні. Багато з них приходять до висновку, що їх моделі більш реальні, більш достовірні, ніж безладна, непокірна, «неконтрольована» реальність, яку вони намагаються пояснити.
Міф третій: кара знижує злочинність.
У 1975 році журнал American Economic Review опублікував статтю провідного економіста Ісаака Ерліха з Мічиганського університету, який підрахував, що кожна страта запобігає вісім вбивств. До Ерліха найвідомішим фахівцем по ефективності страти був Торстен Селла, який використовував набагато простіший метод аналізу. Селла підготував графіки, які порівнюють тенденції в різних штатах. Він не знайшов різниці між штатами зі смертною карою або без неї, тому прийшов до висновку, що смертна кара не має значення. Ерліх, демонструючи перевагу в статистиці, заявив, що його аналіз був більш достовірним, оскільки він враховував всі фактори, що впливають на рівень вбивств.
Ще до публікації робота Ерліха була процитована Генеральним солісітором Сполучених Штатів в записці amicus curiae, поданій до Верховного суду США в захист смертної кари. На щастя, Суд вирішив не покладатися на свідчення Ерліха, оскільки вони не були підтверджені іншими дослідниками. Це було мудро, бо протягом року або двох інші дослідники опублікували настільки ж складні економетричні аналізи, які показують, що смертна кара не мала стримуючого ефекту.
Розбіжності з приводу роботи Ерліха були настільки важливі, що Національна дослідницька рада скликав групу експертів з блакитною стрічкою, щоб розглянути її. Після дуже ретельного аналізу комісія вирішила, що проблема не тільки в моделі Ерліха, але і у використанні економетричних методів для вирішення суперечки з приводу політики кримінального правосуддя. Вони (Manski, 1978: 422) прийшли до висновку, що: Оскільки дані, які, ймовірно, будуть доступні для такого аналізу, мають обмеження, і оскільки злочинна поведінка може бути настільки складним фактором, не слід очікувати появи остаточного поведінкового дослідження, яке покладе край суперечкам про ефекти поведінки політики стримування.
Ці критики не переконали Ерліха, і він знайшов недоліки в їх роботі. Він залишається самотнім, щиро вірить в справедливість своєї моделі. У недавньому інтерв’ю (Боннер і Фессендрен, 2000) він наполягав на тому, що «якщо враховувати такі варіації, як безробіття, нерівність доходів, ймовірність затримання і готовність застосовувати смертну кару, то смертна кара має значно більший стримуючий вплив».
Міф четвертий: легалізовані аборти привели до зниження злочинності в 1990-і роки.
У 1999 році Джон Донохью і Стівен Левітт опублікували дослідження з новим поясненням різкого зниження кількості вбивств в 1990-х роках. Вони стверджували, що легалізація абортів Верховним судом США в 1973 році призвела до зменшення народжуваності небажаних дітей, непропорційно велике число яких виросло б і стали злочинцями. Проблема в тому, що легалізація абортів була разовою історичною подією, і даних для достовірного регресійного аналізу занадто мало. Результати можуть відрізнятися в залежності від того, як дані відбираються для аналізу. В даному випадку, як вказав Джеймс Фокс (2000: 303): «Використовуючи єдину статистичну інформацію про зміни за цей дванадцятирічний період, [Донохью і Левітт] не беруть до уваги велику частину змін злочинності за цей період – тенденцію до зростання протягом цього періоду. ера тріщини в кінці 1980-х і спадна корекція в роки після перерви. Це щось на зразок вивчення впливу фаз Місяця на океанські припливи, але запис даних тільки для періодів відливу ».
Коли я писав цю статтю, я включив пропозицію, з якої випливає, що «скоро інший аналітик регресії, ймовірно, повторно проаналізує ті ж дані і прийде до інших висновків». Кілька днів по тому моя дружина передала мені газетний розповідь про таке дослідження. Автором книги був не хто інший, як Джон Лотт з Єльського університету і Джон Уїтлі з Університету Аделаїди. Вони зібрали ті ж цифри і прийшли до висновку, що «легалізація абортів підвищила рівень вбивств приблизно на 0,5-7 відсотків» (Lott and Whitely, 2001).
Чому такі помітно різні результати? Кожен набір авторів просто вибрав інший спосіб аналізу неадекватною сукупності даних. Економетрика не може зробити діючий загальний закон із того історичного факту, що аборти були легалізовані в 1970-х, а злочинність знизилася в 1990-х. Нам знадобиться принаймні кілька десятків таких історичних дослідів для значущого статистичного тесту.
Міф п’ятий: реформа системи соціального забезпечення приведе до бідності мільйона дітей.
1 серпня 1996 року, коли Сенат Сполучених Штатів вважав що епохальне зміна в політиці соціального забезпечення ідбулася, Інститут міського розвитку випустив широко розрекламований звіт, в якому стверджувалося, що: запропоновані зміни в реформі соціального забезпечення приведуть до збільшення бідності та зниження доходів сімей з групи з найнижчим доходом. … За нашими оцінками, в результаті за межею бідності опиниться ще 2,6 мільйона чоловік, у тому числі 1,1 мільйона дітей. (Міський інститут, 1996, с. 1)
Захисники соціального забезпечення згуртувалися навколо цього пророкування, але політиків це не переконало. Сенатори, які підтримали реформу, просто не вірили, що соціологи можуть робити достовірні прогнози такого роду. І вони мали рацію. Інститут урбаністики не міг навіть передбачити напрямок змін, не кажучи вже про їх величину. Після реформи системи соціального забезпечення дитяча бідність знизилася, а не виросла.
Модель Urban Institute була набагато складніше, ніж інші моделі, які ми розглянули в цій статті, але додаткова складність, схоже, тільки посилила проблему. Використовуючи витончені методи «мікросімуляціі», вони взяли кореляції, що існували в минулому, вклали їх в складні рівняння, а потім обробили ці рівняння як загальні закони. Вся їх математика була заснована на припущенні, що нічого фундаментального не зміниться, і в цьому випадку, звичайно, реформа соціального забезпечення зазнає невдачі. Все, що робила модель, – це видавали числа, щоб проілюструвати їх аргументи і зробити їх науковими. Але мета реформи полягала в тому, щоб щось змінити, і це сталося.
Чому регресія не працює
Хоча вони здаються складними, регресивні моделі насправді є спрощенням реального світу. Для спрощення математики в регресії використовуються лінійні рівняння. Це означає, що передбачається, що якщо ви побудуєте взаємозв’язок між будь-якими двома змінними на графіку, тренд буде виглядати як пряма лінія. У регресійних моделях також передбачається, що змінні розподілені за класичною дзвоноподібної нормальної кривої. І це передбачає, що аналітики знають, які змінні є причинами, а які – наслідками. Звичайно, регресивні аналітики знають, що реальний світ не відповідає їх припущеннями, і для компенсації вносять різні коригування в дані. Але коригування створюють інші проблеми. Єдиний дієвий спосіб перевірити модель після всіх цих коригувань – показати, що вона працює для прогнозування майбутніх тенденцій. Моделі регресії, що не були продемонстровані для роботи зі свіжими даними, крім даних, що використовуються для їх створення, є сміттєвої наукою.
Чому не працює регресія: лінійні моделі нелінійного світу.
Зіткнувшись з нелінійністю реального світу, перший інстинкт розробника регресійних моделей – то це стандартизувати і контролювати дані. При цьому вони мінімізують або виключають найбільш цікаві та важливі історичні події. В кінцевому підсумку вони аналізують стандартизований і ідеалізований світ, що має мале відношення до реальності. Наприклад, розглянемо тенденції зростання числа ув’язнених і вбивств, які намагалися пояснити Марвелл і Муді (1997). Їх стаття починається з графіка, що показує тенденції в кількості ув’язнених на 100 000 чоловік і вбивств на 1 000 000 людей в Сполучених Штатах. Цей дуже цікавий і корисний графік відтворюється нижче за їхніми даними.
Цікаві особливості тенденцій, що відображаються на графіку, – це поворотні точки, місця, де тенденції відхиляються від лінійності. Рівень убивств різко збільшився з середини 1960-х до початку 1970-х років, а потім стабілізувався. Число ув’язнених помітно зросла на початку 1970-х років, коли Сполучені Штати побудували більше в’язниць у відповідь на зростання злочинності. Рівень убивств стабілізувався в 1980-х роках і після цього залишався стабільним.
Замість того, щоб намагатися пояснити ці важливі поворотні моменти, Марвелл і Муді використовували кілька технік регресії, щоб «контролювати» це. Вони ввели елементи управління для кожної вимірюваної змінної, яку вони могли придумати, включаючи (Marvell and Moody, 1997: Додати 209) «вікову структуру, економічні фактори, громадську допомогу, расу і змінні, що характеризують Другу світову війну і епідемію крека».
Всі ці засоби контролю стерли зі своїх даних вражаючі історичні зміни. Це привело їх до висновку, що збільшення числа ув’язнених на 10% призводить до скорочення кількості вбивств приблизно на 13%. Але простий перегляд їх графіка показує, що обіцяного зниження кількості вбивств на 13% на кожні 10% збільшення кількості ув’язнених з 1975 року просто не відбулося.
Марвелл і Муді були стурбовані тим, що очікуваного скорочення не було, але цього було недостатньо, щоб змусити їх відмовитися від своїх економетричних методів. Зрештою, вони обговорювали не реальний світ, а світ, спрощений і очищений за допомогою довгої серії математичних коригувань. Зіткнувшись з історичними фактами, вони стверджували, що, якби тюремне ув’язнення не збільшилася, кількість вбивств стало б набагато гірше. Однак вони відзначили, що насправді цього ніколи б не сталося, тому що уряд зробив би інші дії, щоб запобігти цьому.
Але як і цінність аналізу, який призводить до висновків, які, як розуміють автори, ніколи не можуть мати місця? Наскільки вірною може бути теорія, що лежить в основі множинного регресійного аналізу, якщо вона не враховує ключові змінні, такі як політичні обмеження, просто тому, що їх неможливо виміряти кількісно? Наскільки результати залежать від довільних рішень про те, які керують змінні ввести і як їх виміряти? Марвелл і Муді залишилися зі статистикою, яка нібито розповідала нам, що могло б статися, якби насправді нічого не сталося.
Чому не працює регресія: світ не є кривою у формі дзвону.
На додаток до лінійності множинна регресія передбачає, що кожна змінна «нормально» розподілена по всім іншим в класичній моделі дзвоноподібної кривої. Це означає, що більшість випадків слід згрупувати навколо середнього значення в кожній категорії, а кілька випадків – біля крайніх значень. Часто дані істотно порушують це припущення, що призводить до повністю помилкових результатів. Хороший приклад – дані Джона Лотта про контроль над вогнепальною зброєю.
Лотт зібрав величезний масив даних, який щедро надав іншим дослідникам. На жаль, він не почав з побудови графіків своїх даних, можливо, тому, що у нього їх було так багато. Але завжди корисно починати аналіз з графіків, щоб побачити тенденції до того, як вони будуть приховані через запровадження всіх статистичних коригувань. Якщо неможливо зобразити все у вигляді графіка, все ж варто зобразити деякі типові випадки. Отже, використовуючи дані Лотта, я побудував графік тенденцій в рівні вбивств для ряду округів, де закони про «видання» вступили в силу в період, що охоплюється його дослідженням. До того, як були прийняті закони «про видання», місцева влада мали дискреційні повноваження з видачі дозволів на носіння прихованої зброї. Після того, як вони були прийняті, вони повинні були видати дозвіл будь-якого законослухняному дорослому, який хотів його. Якби гіпотеза Лотта була вірна, можна було б очікувати, що після прийняття законів кількість вбивств знизиться.
На наступній діаграмі показані тенденції в рівні вбивств для найбільших округів в кількох штатах, які прийняли закони «про обов’язкове видання» в період з 1977 по 1992 рік. Дата вступу в силу законів варіювалася від штату до штату. Перш ніж читати далі, читачеві може бути цікаво вивчити графік і спробувати зробити висновок, коли закон вступив в силу в кожному окрузі.
Вивчаючи графік, ми бачимо, що картина в окрузі Міссула, штат Монтана, здається досить нестійкою, з дуже різким зниженням рівня вбивств в 1979 і 1991 роках. Однак це не реальне явище, а результат одної з поправок, які Лотт зробив, щоб компенсувати ненормальність своїх даних. Замість того, щоб використовувати реальні числа, він перетворив їх у натуральні логарифми. Це звичайна практика, оскільки натуральні логарифми часто краще відповідають припущеннями множинної регресії, ніж фактичні дані. Число в файлі даних Джона Лотта для округу Міссула за ті роки становить -2,30. Це дивно, оскільки кількість вбивств в окрузі не може опуститися нижче нуля, якщо раніше убиті люди не повертаються до життя. Однак не пощастило. Щоб отримати фактичну кількість вбивств в кожному окрузі,потрібно інвертувати логарифми в наборі даних Лотта за формулоюістинна частота = e логарифмічна швидкість , де e = 2,71828. Це легко зробити за допомогою кнопки e x на науковому калькуляторі. Якщо ввести в такий калькулятор -2,3 і натиснути кнопку e x , вийде 0,100, або одна десята частина вбивства на 100 000 населення. Фактично, справжнє число вбивств в окрузі Міссула в 1979 і 1991 роках було нульовим. Лотт використовував 1 замість нуля, тому що натуральний логарифм нуля математично не визначений, тому залишення його рівним нулю призвело б до відсутності даних. У його файлах даних про вбивства дуже багато значень -2,3, тому що багато округу досить маленькі, набагато менше, ніж Міссула, від 81 904 людьми в 1992 році.
Розподіл рівнів вбивств в американських округах зовсім не близько до нормальної кривої в формі дзвона. Є дуже багато маленьких графств з невеликою кількістю вбивств або без них, і кілька досить великих з дуже багатьма. Перетворення даних в натуральні логарифми – один із способів мінімізувати статистичні ефекти ненормальних розподілів, але він може вносити інші спотворення, як ми бачимо в цьому випадку.
Якщо не брати до уваги спотворення в окрузі Міссула, викликані перетворенням даних в натуральні логарифми, тенденції в цих округах досить плавні. Немає очевидного ефекту від запровадження законів про «видачу» в окрузі Міссула в 1991 році, в окрузі Фултон (Атланта, штат Джорджія) в 1990 році, в окрузі Хайндс (Джексон, штат Міссісіпі) в 1990 році, в окрузі Ферфакс (Ферфакс, Вірджинія ) в 1988 р і в окрузі Канава (Чарльстон, Західна Вірджинія) в 1989 р
Можна запитати, чому ми маємо справу з цими округами середнього розміру, а не з великими населеними пунктами? Це було моїм першим ключем до фундаментального вади аргументації Лотта. Моїм першим бажанням було скласти графік тенденцій в найбільших містах Америки, тому що саме там проблема вбивств найбільш серйозна. Я відразу виявив, що ні в одному з цих міст не було закону «про видання» .Закони про «видачу» були введені в дію в першу чергу в штатах з низькою щільністю населення. Це означало, що дані Лотта не відповідали фундаментальним припущенням регресійного аналізу. Для правильної роботи множинної регресії потрібно, щоб змінна що «повинна видавати» нормально розподілялася по набору даних. Математичні обчислення, використовувані для «контролю» помилкових відносин, не можуть працювати, якщо не існує достатнього діапазону варіацій ключових змінних. Це був «паруючий пістолет з цівкою диму», захований в масі таблиць і складних рівнянь Лотта. Жодного разу в книзі він не визнав цього факту. Коли я запитав його про це, він знизав плечима. Він не вважав це проблемою, оскільки «контролював» чисельність населення.
Ці неточності в даних повністю спростували аналіз Лотта. Знадобилося два роки, перш ніж Ейрес і Донохью (1999) підтвердили ці вади економетричного аналізу, але Зімрінг і Хокінс відразу ж зосередилися на проблемі в 1997 році. Вивчивши законодавство про контроль над зброєю, вони знали, що закони про «видачу» були прийняті в штатах, де Національна стрілецька асоціація була потужною, в основному на півдні, заході і в сільських районах. У цих штатах вже було кілька обмежень на зброю. Вони відзначили, що ця законодавча історія засмучує (Zimring and Hawkins 1997: Додати 50), «нашу здатність порівнювати тенденції в штатах, які« повинні видати », з тенденціями в інших штатах. немає, порівняння законодавчих категорій завжди ризикують сплутати демографічні та регіональні впливу з поведінковими наслідками різних правових режимів ».Зімрінг і Хокінс (1977: 51) далі відзначили, що: Лотт і Мастард, звичайно, знають про цю проблему. Їх рішення, стандартний економетричний метод, полягає в тому, щоб побудувати статистичну модель, яка буде враховувати всі відмінності між Айдахо і Нью-Йорком, які впливають на рівень вбивств і злочинності, за винятком законів про «виданні». Якщо можна «вказати» основні фактори, що впливають на вбивства, згвалтування, крадіжки зі зломом і угони автомобілів в нашій моделі, то ми зможемо виключити вплив цих факторів на різні тенденції. Лотт і Мастард створюють моделі, які оцінюють вплив демографічних даних, економічних даних і кримінального покарання на різні правопорушення. Ці моделі є остаточними в статистиці домашньої кухні, оскільки вони створені для цих даних, встановлених цими авторами, і перевірені тільки на даних, які будуть використовуватися для оцінки впливу права на носіння.
Лотт і Мастард порівнювали тенденції в Айдахо, Західної Вірджинії та Міссісіпі з тенденціями в Вашингтоні, округ Колумбія, і Нью-Йорку. Насправді стався сплеск вбивств, пов’язаних з креком, в великих східних містах в 1980-х і початку 1990-х років, більшість з яких були серед людей, які були досить добре озброєні, незважаючи на відсутність дозволів на зброю. Вся аргументація Лотта зводилася до твердження, що в основному сільські і західні штати, які «повинні видавати», були позбавлені від епідемії вбивств, пов’язаних з креком, завдяки своїм законам «повинні видавати» .До цього ніколи б не підійшли серйозно, якби це не було приховано за лабіринтом рівнянь.
Чому не вдається регресія: відсутність прогнозу тестування.
Кислотним тестом в статистичному моделюванні є передбачення. Корисна модель повинна робити прогнози краще, ніж випадкові припущення. Тільки так можна розрізняти причину і наслідок і перевіряти причинні передбачення. Розробники регресійних моделей часто роблять це з історичними даними, фактично використовуючи дані з більш далекого минулого для передбачення більш недавнього минулого. Проблема полягає в тому, що, коли результат уже відомий, занадто легко налаштувати модель, щоб вона відповідала відомому результату. Це все одно, що використовувати позавчорашню погоду для передбачення вчорашньої погоди або позавчорашні ціни акцій для передбачення вчорашніх цін. Це може бути корисно як спосіб навчання, але єдиний дійсно переконливий тест – це передбачити погоду на завтра або ціни на акції.Цей критерій успіху в прогнозуванні використовується для оцінки моделей фінансових ринків, погоди, медичних результатів, демографічних тенденцій і багатьох інших явищ. Всі ці моделі працюють недосконало, і регресія дає нам гарне уявлення про те, наскільки все це недосконале.
На жаль, дослідники, що використовують економетричні методи для оцінки соціальної політики, як правило, не піддають свої моделі прогностичним тестам. Вони можуть зробити це, або роблячи прогнози на майбутнє і очікуючи побачити, що станеться, або, якщо це займе дуже багато часу, розробивши свою модель за даними з однієї популяції, а потім використовуючи її для прогнозування результатів з іншої популяції. Але більшість дослідників просто цього не роблять, а якщо і роблять, то моделі не працюють, тому результати ніколи не публікуються. (Інститут урбаністики зробив прогноз, але вони не дочекалися результатів, щоб опублікувати свої висновки. Коли дані показали, що їх модель не працює, вони просто видалили її зі свого веб-сайту.)
Журнали, що публікують ці дослідження, не потребують прогностичному тестуванні, що говорить про те, що редактори і рецензенти не прагнуть до істини у своїх областях. Замість цього дослідники беруть дані за фіксований період часу і продовжують тонке налаштування і коригування своєї моделі, поки не зможуть «пояснити» тенденції що це вже сталося. Завжди є кілька способів зробити це, із сучасними комп’ютерами не так вже й складно продовжувати спроби, поки не знайдете щось що більш підходить. На цьому етапі дослідник зупиняється, записує результати і відправляє статтю для публікації. Пізніше інший дослідник може скорегувати модель так, щоб отримати інший результат. Це чуцдово заповнює сторінки журналів з суспільних наук і допомагає молодим професорам отримати постійну посаду. Всі вони вдають, що не помічають, що прогресу мало мало.
Альтернатива: наполягайте на зрозумілих графіках і таблицях
Коли вчені з престижних університетів публікують інформацію про сміттєву науку в засобах масової інформації і публікують її в авторитетних реферованих журналах, люди зі зрозумілих причин скептично ставляться до цінності досліджень в області соціальних наук. Кілька років тому The Economist(13 травня 1995 г.) опублікував іронічну редакційну статтю, в якій заявляв, що «74,6% соціології – нісенітниця». Циніки задавалися питанням, чи не могла оцінка бути заниженою. Але важливо не викидати дитину разом з водою з ванни. У соціології, кримінології та інших соціальних науках ведеться серйозна і вдумлива робота, хоча вона може не потрапити в журнали, які цінують статистичну складність вище надійних результатів. Для найбільш надійної роботи використовуються більш прості статистичні методи, які не вимагають такої великої кількості коригування та стандартизації даних. Це має велику перевагу в тому, що цей твір може бути прочитано і використано людьми, які не присвятили роки свого життя вивченню маловідомих економетричних методів.
Дослідження, в яких широко використовуються графіки, такі як дослідження Селліна (1959), Блюмштейна і Уоллмана (2000), були набагато більш успішними і інформативними, ніж регресивні дослідження. Як приклад потужності простих графічних методів ми можемо побудувати графік деяких даних з набору даних Джона Лотта з управління зброєю. Коли набір даних настільки великий, може знадобитися вибрати невелику його частину для побудови графіка, але це може бути дуже інформативним, якщо вибір зроблено правильно. Вивчаючи дані Лотта, я виявив, що в штаті Пенсільванія в 1989 р був прийнятий закон «Про видачу», але місто Філадельфія був звільнений від нього. Це надало чудову нагоду для «природного експерименту», порівнюючи тенденції в двох великих містах, які розрізнялися за ключовою (цільовою) змінною.На наступній діаграмі порівнюються тенденції в Філадельфії, яка є містом і округом, з тенденціями в окрузі Аллегейні, в який входить Піттсбург. Графік показує, що рівень вбивств в Філадельфії, як правило, вище, ніж в окрузі Аллегейні, але прийняття закону, що дає громадянам право отримувати дозволи на носіння прихованої зброї, не мало позитивного ефекту, заявленого Джоном Лоттом. Фактично, до прийняття закону кількість вбивств в окрузі Аллегейні знижувалося, а потім трохи збільшилася. У Філадельфії кількість вбивств зростала, потім стабілізувався, незважаючи на те, що новий закон не застосовувався в цьому місті. Статистика насильницьких злочинів в тих же двох округах показує ту ж картину.Подібна дезагрегація даних дозволяє нам використовувати наші якісні історичні знання при інтерпретації статистичних тенденцій. Щоб дискредитувати такий висновок, прихильникам прихованої зброї довелося б показати, як інші фактори якимось чином компенсували нездатність закону про видачу що до відтворювати будь-якого очевидного ефекту.
Висновки.
Цих випадків може бути досить, щоб переконати більшість читачів в тому, що множинна регресія не надто корисна для доказу причинних аргументів, по крайней мере, про історичне вплив соціальної політики. Насправді проблема ширша, і багато фахівців сумніваються, що множинна регресія є дієвим способом врегулювання будь-якого виду теоретичних аргументів. У 1985 році Стенлі Ліберсон (1985: ix), видатний професор Каліфорнійського університету, написав: « Я повністю згоден з цілями емпіричних досліджень, які можна знайти в більшій частині сучасної соціології, з її упором на строгість і кількісну оцінку. Однак … я неохоче прийшов до висновку, що багато процедур і допущень в цьому підприємстві не мають більшого значення, ніж пошук вічного двигуна ». У 1991 році Девід Фрідман, видатний соціолог Каліфорнійського університету в Берклі і автор підручників з кількісних методів дослідження, похитнув основи регресійного моделювання в соціальних науках, коли він відверто заявив: «Я не думаю, що регресія може багато принести тягаря причинного аргументу. Рівняння регресії самі по собі не дуже допомагають у контролі змішувальних змінних »(Freedman, 1991: 292).
Стаття Фрідмана викликала ряд бурхливих відгуків. Річард Берк (1991: 315) зауважив, що аргумент Фрідмана « буде дуже важко прийняти більшості соціологів, що займаються кількісними дослідженнями. Він зачіпає саму суть їх емпіричної діяльності і тим самим ставить під загрозу всю професійну кар’єру ».
Спільнота соціальних наук не має хороших процедур для визнання неспроможності широко використовуваного методу дослідження. Методи, закріплені в програмах магістратури провідних університетів і опубліковані в престижних журналах, як правило, зберігаються по сьогодні. Багато неспеціалістів вважають, що якщо дослідження було опубліковано в хорошому рецензованому журналі, тобто є деяка впевненість в його достовірності. Розглянуті тут випадки показують, що це не так. Рецензування гарантує дотримання встановленої практики, але мало допомагає, коли самі ці практики помилкові.
Знайти недоліки в регресійних дослідженнях складно. Зазвичай єдиний спосіб бути в них впевненим – це отримати набір даних і повторно проаналізувати їх. Це більше, ніж можна очікувати від рецензента професійного журналу. Щоб відтворити дослідження множинної регресії, потрібен час, зазвичай рік або два, а багато досліджень ніколи не відтворюються, тому що вони нікого не цікавлять. Навіть якщо реплікація зроблена і не підтверджує дослідження, редактори журналів можуть порахувати, що це просто випадок нормальних наукових дебатів. Проблема, однак, у тому, що реального прогресу не відбувається. Ми не наблизилися до створення корисної математичної моделі для прогнозування рівня вбивств, ніж були, коли Ерліх опублікував свою статтю в 1975 році.
У соціології або кримінології немає важливих відкриттів, які були б настільки складними, що їх не можна було б передати за допомогою графіків і таблиць, зрозумілих для інтелігентних обивателів і політиків. Пора визнати, що у імператора немає одягу. Множинна регресія і інші методи математичного моделювання просто не виправдали своїх обіцянок як методу оцінки впливу державної політики. Дослідження, які стверджують зворотне, є сміттєвої наукою.
посилання
Айрес І. та Донохью Дж. (1999). «Недіскреціонная закони про прихований зброю: тематичне дослідження статистики, стандартів доказування і державної політики». Am. Law and Ec. Revv 1: 436-470.
Берк, Р.А. (1991) «До методології для простих смертних», Sociological Methodology 21: 315-324.
Блек Д. і Нагін Д. (1998). “Стримують чи закони про право на виконання насильницьких злочинів?” J. Legal Studies 27: 209-219.
Блюмштейн А. і Уоллман Дж. (Ред.), Зниження злочинності в Америці, Видавництво Кембріджського університету, Нью-Йорк, стор. 13-44.
Болдт, Д. (1999). «Study Evidence on Guns», Philadelphia Inquirer , 14 грудня. Завантажено 17 травня 2000 року з сайту http: // ww w.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm
Боннер, Р. і Фессендрен, Ф. (2000). «У штатах без смертної кари знижується рівень вбивств», New York Times , 22 вересня. Завантажено з: http://www.nytimes.com/2000/09/22/national/22DEAT.html .
Донохью, Дж. І Левітт, С. (1999). «Легалізовані аборти і злочинність». Юридичний факультет Стенфордського університету. Завантажено в серпні 2000 р з: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 .
Ерліх, І. (1975). «Стримуючий ефект страти: питання життя і смерті», Am. Ec. Р. 65: 397-417.
Фокс, Дж. (2000). «Демографія і вбивства в США», Блюмштейн, А. і Уоллман, Дж. (Ред.), Зниження злочинності в Америці, Cambridge University Press, Нью-Йорк, стор. 288-317.
Фрідман, Д.А. (1991) “Статистичні моделі та шкіра взуття”. Sociological Methodology 21: 291-313.
Лотт, Дж. І Мастард, Д. (1997). «Злочин, стримування і право носіння прихованого вогнепальної зброї», J. Legal St. 26: 1-68. Завантажено 10 серпня 2000 року з: http://www.journals.uchicago.edu/JLS/lott.pdf
Лотт, Дж. (2000). Більше зброї, менше злочинів: розуміння законів про злочинність і контроль над зброєю. University of Chicago Press, друге видання з додатковим аналізом.
Лотт, Дж. І Дж. Уитли, «Аборти і злочинність: небажані діти і позашлюбні пологи», Yale Law & Economics Research Paper № 254. Завантажено 9 липня 2001 р
http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126 .
Манський, К. (1978). «Перспективи виведення про стримування за допомогою емпіричного аналізу індивідуального злочинної поведінки». У Blumstein, C, et. ін., Deterrence and Incapacitation Вашингтон: Національна академія наук, стор. 400-424.
Марвелл, Т. і Муді, К. (1997). «Вплив зростання в’язниць на вбивства». Homicide St. 1: 205-233.
Селлин, Т. (1959). The Death Penalty. Американський юридичний інститут, Філадельфія.
Зімрінг, Ф. і Хокінс, Г. (1997). «Приховані пістолети: засіб захисту від підробок », The Responsive Community 7: 46-60.