Эканаметрычнае мадэляванне як непажаданая навука
Тэд Герцэль, Універсітэт Рутгерса, Камдэн, Нью-Джэрсі, 08102
голас: 609 953-1670 факс: 413 793-2597
Ці верыце вы, што кожны раз, калі зняволенага пакараюць у Злучаных Штатах, восем будучых забойстваў перашкаджаюць? Ці верыце вы, што павелічэнне на 1% адсотка грамадзян, якія носяць схаваную зброю, выклікае зніжэнне ўзроўню забойстваў на 3,3% ? Ці верыце вы, што ад 10 да 20% зніжэння ўзроўню злачыннасці ў 1990-я гады было выклікана павелічэннем колькасці абортаў у 1970-х? Ці што з 1974 года ўзровень забойстваў павялічыўся б на 250%, калі б Злучаныя Штаты не пабудавалі так шмат новых турмаў? Ці верылі вы прагнозам, што рэформа дабрабыту 1990-х прымусіць 1 мільён 100 000 дзяцей да галечы?
Калі вас увяло ў зман якое-небудзь з гэтых даследаванняў, магчыма, вы патрапілі ў згубную форму непажаданай навукі: выкарыстанне матэматычнага мадэлявання для ацэнкі ўплыву сацыяльнай палітыкі. Гэтыя даследаванні павярхоўна ўражваюць. Выпускаюцца аўтарытэтнымі сацыёлагамі з прэстыжных устаноў, яны часта публікуюцца ў рэцэнзаваных навуковых часопісах. Яны запоўнены статыстычнымі разлікамі, занадта складанымі, каб разблытаць каго-небудзь, акрамя іншага спецыяліста. У іх прыводзяцца дакладныя лічбавыя “факты”, якія часта цытуюцца ў палітычных дэбатах. Але гэтыя “факты” аказваюцца такімі. Часта перад тым, як чарніла высахнуць пры адным, відавочна, канчатковым даследаванні, узнікае іншае з аднолькава дакладнымі і імпазантнымі, але зусім іншымі “фактамі”. Нягледзячы на лічбавую дакладнасць, гэтыя “факты” не маюць большай сапраўднасці, чым бачанне прадказальнікаў.
Гэтыя прагнозы заснаваны на статыстычнай методыцы, якая называецца множнай рэгрэсіяй, якая выкарыстоўвае карэляцыйны аналіз для прычынных аргументаў. Хоць эканамісты з’яўляюцца вядучымі спецыялістамі ў гэтым таемным мастацтве, сацыёлагі, крыміналісты і іншыя сацыялагічныя навукоўцы таксама маюць яго версіі. Ён вядомы пад рознымі назвамі, у тым ліку “эканаметрычнае мадэляванне”, “мадэляванне структурных раўнанняў”, “аналіз шляху” і проста “шматмерны аналіз”. Усё гэта спосабы выкарыстання карэляцыйных дадзеных для прычынных аргументаў.
Праблема гэтага, як ведае кожны, хто вывучаў статыстыку, заключаецца ў тым, што карэляцыя не з’яўляецца прычынна-следчай сувяззю. Карэляцыя паміж дзвюма зменнымі можа быць “ілжывай”, калі яна выклікана нейкай трэцяй зменнай. Шматлікія даследчыкі рэгрэсіі спрабуюць пераадолець праблему ілжывасці, уключаючы ў аналіз усе зменныя. Дадзеныя, даступныя для гэтай мэты, проста не адпавядаюць гэтай задачы, і даследаванні пастаянна не давалі выніку. Але многія навукоўцы-грамадазнаўцы прысвяцілі гады навучанню і навучанню мадэлям рэгрэсіі. Яны працягваюць выкарыстоўваць рэгрэсію для прычынных аргументаў, якія не апраўдваюцца іх дадзенымі, але якія паўтараюцца зноў і зноў у аргументах палітыкі. Я называю гэтыя аргументы міфамі множнай рэгрэсіі.
Пяць міфаў множнай рэгрэсіі
Міф першы: больш зброі, менш злачыннасці.
Джон Лотт, эканаміст Ельскага ўніверсітэта, выкарыстаў эканаметрычную мадэль, каб сцвярджаць, што “дазвол грамадзянам насіць схаваную зброю стрымлівае гвалтоўныя злачынствы без павелічэння выпадковых выпадкаў смерці”. Лот падлічыў, што кожны працэнтны прырост валодання зброяй у насельніцтва выклікае зніжэнне ўзроўню забойстваў на 3,3% . Лот і яго суаўтар Дэвід Мустард выпусцілі першую версію свайго даследавання ў Інтэрнэце ў 1997 годзе, і дзясяткі тысяч людзей загрузілі яго. Гэта была тэма палітычных форумаў, газетных рубрык і часта даволі складаных дэбатаў у сусветнай павуціне. Дыскусія ішла па прадказальных ідэалагічных лініях: адзін вядомы крытык асудзіў даследаванне як метадалагічна недасканалае яшчэ да таго, як атрымала копію. У кнізе з кідкай назвай Больш зброі, менш злачынстваў , Лот здзекаваўся над крытыкамі, абвінаваціўшы іх у тым, што яны ставяць ідэалогію вышэй за навуку.
Праца Лота – прыклад статыстычнага ўзмацнення. У яго больш дадзеных і больш складаны аналіз, чым у астатніх, хто вывучае тэму. Ён патрабуе, каб любы, хто хоча аспрэчыць яго аргументы, пагрузіўся ў вельмі складаны статыстычны аргумент, заснаваны на наборы дадзеных, які настолькі вялікі, што ім нельга кіраваць нават з настольнымі кампутарамі, якімі карыстаецца большасць сацыялагічных навукоўцаў. Ён рады падзяліцца сваімі дадзенымі з любымі даследчыкамі, якія хочуць імі скарыстацца, але большасць сацыялагічных навукоўцаў стамілася ад гэтай гульні. Колькі часу даследчыкі павінны выдаткаваць на тыражаванне і крытыку даследаванняў з выкарыстаннем метадаў, якія неаднаразова давалі збой? Большасць даследчыкаў па кантролі над зброяй проста адмахнуліся ад прэтэнзій Лота і Гарчыцы і працягнулі працу. Два паважаныя даследчыкі крымінальнага правасуддзя, Фрэнк Зімрынг і Гордан Хокінс (1997: 57) напісалі артыкул, у якой тлумачылі, што:
гэтак жа, як спадары Лот і Гарчыца могуць, выкарыстоўваючы адну мадэль дэтэрмінант забойстваў, вырабляць статыстычныя рэшткі, якія мяркуюць, што законы “выдаюць” скарачэнне забойстваў, мы чакаем, што рашучы эконометрик можа апрацаваць адны і тыя ж гістарычныя перыяды з рознымі мадэлямі і супрацьлеглыя эфекты. Эканаметрычнае мадэляванне – гэта двухбаковы меч, які дазваляе садзейнічаць статыстычным высновам, каб сагрэць сэрцы сапраўдных вернікаў любой паласы.
Зімрынг і Хокінс мелі рацыю. На працягу года двое рашучых эканамістаў Дэн Блэк і Дэніэл Нагін (1998) апублікавалі даследаванне, якое паказала, што калі яны крыху зменяць статыстычную мадэль альбо прымяняць яе да розных сегментаў дадзеных, вынікі Лота і Мустарда знікнуць. Блэк і Нагін выявілі, што, калі Фларыда была адабрана з выбаркі, “ніякага выяўленага ўплыву законаў пра права пераноскі на ўзровень забойстваў і згвалтаванняў не было”. Яны прыйшлі да высновы, што “высновы, заснаваныя на мадэлі Лота і Гарчыцы, недарэчныя, і іх вынікі нельга выкарыстоўваць з адказнасцю для фарміравання дзяржаўнай палітыкі”.
Міф другі: зняволенне большай колькасці людзей скарачае злачыннасць
Справа Лота і Гарчыцы была выключнай толькі па колькасці грамадскай увагі. Даволі распаўсюджана, нават тыпова, што даследаванні, якія змагаюцца, публікуюцца з выкарыстаннем эканаметрычных метадаў, каб зрабіць супрацьлеглыя высновы пра адзін і той жа набор дадзеных. У адным выключна адкрытым заяве аб расчараванні такім становішчам спраў двое паважаных крыміналістаў Томас Марвел і Карлайл Мудзі (1997: 221) паведамілі пра атрыманае імі даследаванне пра ўплыў зняволення на ўзровень забойстваў. Яны паведамілі, што яны:
шырока распаўсюджваюцца [іх] высновы разам з дадзенымі, якія выкарыстоўваюцца, калегам, якія спецыялізуюцца на колькасным аналізе. Часцей за ўсё адказваюць, што яны адмаўляюцца верыць вынікам, незалежна ад таго, наколькі добры статыстычны аналіз. За гэтым сцвярджэннем стаіць меркаванне, якое часта абмяркоўваецца неафіцыйна, але рэдка публікуецца, што навукоўцы-сацыялагі могуць атрымаць любы жаданы вынік, маніпулюючы выкарыстанымі працэдурамі. На самай справе, шырокае разнастайнасць ацэнак, якія тычацца ўздзеяння турэмнага насельніцтва, успрымаецца як добрае сведчанне падатлівасці даследаванняў. Вынік, нават сярод многіх, хто рэгулярна публікуе колькасныя даследаванні, заключаецца ў тым, што, наколькі б грунтоўны ні быў аналіз, вынікі не заслугоўваюць даверу, калі яны не адпавядаюць папярэднім чаканням. Даследчая дысцыпліна не можа атрымаць поспех у такіх рамках.
Да іх вялікай заслугі, Марвел і Мудзі шчыра прызналі праблемы шматразовай рэгрэсіі і ўнеслі некалькі прапаноў па паляпшэнні. Аднак гэта хутчэй выключэнне, чым правіла эконометриков, якія часта настолькі пагружаюцца ў свае мадэлі, што губляюць усведамленне сваёй адвольнасці. Многія з іх лічаць, што іх мадэлі больш рэальныя, больш слушныя, чым брудная, непакорлівая і “некантралюемая” рэальнасць, якую яны нібыта тлумачаць.
Міф трэці: расстрэл людзей скарачае злачынства.
У 1975 г. The American Economic Review апублікаваў артыкул вядучага эканаміста Ісаака Эрліха з Мічыганскага універсітэта, які падлічыў, што кожнае пакаранне стрымлівала восем забойстваў. Да Эрліха самым вядомым спецыялістам па эфектыўнасці смяротнага пакарання быў Торстэн Селен, які выкарыстаў значна больш просты метад аналізу. Селен падрыхтаваў графікі, параўноўваючы тэндэнцыі ў розных штатах. Ён выявіў невялікую розніцу паміж дзяржавамі, як са смяротнай карай, так і без яе, таму прыйшоў да высновы, што смяротная кара не мае значэння. Эрліх, выступаючы са статыстычным узмацненнем, сцвярджаў, што яго аналіз быў больш слушным, паколькі кантраляваў усе фактары, якія ўплываюць на ўзровень забойстваў.
Яшчэ да таго, як ён быў апублікаваны, праца Эрліха была прыведзена Генеральным адвакатам Злучаных Штатаў у паведамленні amicus curiae, пададзеным у Вярхоўны суд ЗША ў абарону смяротнага пакарання. На шчасце, Суд вырашыў не спадзявацца на доказы Эрліха, паколькі яны не былі пацверджаны іншымі даследчыкамі. Гэта было разумна, бо на працягу года-двух іншыя даследчыкі апублікавалі не менш складаныя эканаметрычныя аналізы, якія паказваюць, што смяротнае пакаранне не мела стрымліваючага эфекту.
Спрэчка вакол працы Эрліха была настолькі важнай, што Нацыянальны савет па даследаваннях сабраў экспертную камісію, якая разгледзела яе. Пасля вельмі дбайнага разгляду камісія вырашыла, што праблема заключаецца не толькі ў мадэлі Эрліха, але і ў выкарыстанні эканаметрычных метадаў для ўрэгулявання супярэчнасцей з нагоды палітыкі крымінальнага правасуддзя. Яны (Manski, 1978: 422) прыйшлі да высновы, што:
паколькі дадзеныя, якія могуць быць даступныя для такога аналізу, маюць абмежаванні і таму, што злачыннае паводзіны можа быць настолькі складаным, з’яўлення канчатковага паводніцкага даследавання, якое адпавядае ўсім супярэчнасцям аб паводніцкіх эфектах палітыкі стрымлівання, чакаць не варта.
Гэтыя крытыкі не ўгаварылі Эрліха і знайшлі недахопы ў сваёй працы. Ён застаецца адзінока верным вернікам сапраўднасці сваёй мадэлі. У сваім нядаўнім інтэрв’ю (Bonner and Fessendren, 2000) ён настойваў на тым, што “калі ўлічваюцца такія змены, як беспрацоўе, няроўнасць даходаў, верагоднасць затрымання і гатоўнасць прымяніць смяротнае пакаранне, смяротнае пакаранне дэманструе значны стрымліваючы эфект“.
Міф чацвёрты: Легалізаваны аборт стаў прычынай зніжэння ўзроўню злачыннасці ў 1990-х.
У 1999 годзе Джон Данох’ю і Стывен Левіт выпусцілі даследаванне з новым тлумачэннем рэзкага зніжэння ўзроўню забойстваў у 1990-х. Яны сцвярджалі, што легалізацыя абортаў Вярхоўным судом ЗША ў 1973 г. выклікала памяншэнне нараджэння непажаданых дзяцей, непрапарцыйна вялікая колькасць якіх вырасла б злачынцамі. Праблема гэтага заключаецца ў тым, што легалізацыя абортаў была аднаразовай гістарычнай падзеяй, і дадзеных для сапраўднага рэгрэсійнага аналізу занадта мала. Вынікі могуць адрознівацца ў залежнасці ад таго, як дадзеныя адбіраюцца для аналізу. У гэтым выпадку, як адзначыў Джэймс Фокс (2000: 303): “выкарыстоўваючы адзіную статыстыку, якая абагульняе змены за гэты дванаццацігадовы прамежак часу, [Донуэ і Левіт] прапускаюць большасць зрухаў у злачыннасці ў гэты перыяд – тэндэнцыя да росту падчас эпоха расколін у канцы 1980-х і карэкцыя зніжэння ў гады пасля расколін. Гэта нешта накшталт вывучэння ўплыву фаз Месяца на прылівы акіяна, але толькі запіс дадзеных для перыядаў адліву “.
Калі я пісаў гэты артыкул, я ўключыў сказ, у якім гаворыцца: “неўзабаве іншы аналітык рэгрэсіі, верагодна, перааналізуе адны і тыя ж дадзеныя і зробіць розныя высновы”. Праз некалькі дзён жонка перадала мне газетную гісторыю менавіта пра такое даследаванне. Аўтарам стаў не хто іншы, як Джон Лот з Ельскага, разам з Джонам Уітлі з Універсітэта Адэлаіды. Яны скарацілі аднолькавыя лічбы і прыйшлі да высновы, што “легалізацыя абортаў павялічыла ўзровень забойстваў прыблізна прыблізна на 0,5 – 7 адсоткаў” (Lott and Whitely, 2001).
Чаму такія прыкметна розныя вынікі? Кожны набор аўтараў проста выбраў іншы спосаб аналізу недастатковай сукупнасці дадзеных. Эканаметрыка не можа скласці сапраўдны агульны закон з таго гістарычнага факту, што аборты былі ўзаконеныя ў 1970-х, а злачыннасць знізілася ў 1990-х. Для змястоўнага статыстычнага тэсту нам спатрэбіцца як мінімум некалькі дзясяткаў такіх гістарычных перажыванняў.
Міф пяты: рэформа дабрабыту кіне мільён дзяцей у галечу.
1 жніўня 1996 г., калі Сенат Злучаных Штатаў разглядаў эпахальныя змены ў палітыцы дабрабыту, Урбанскі інстытут апублікаваў шырока распаўсюджаны даклад, у якім сцвярджаў, што: прапанаваныя змены ў рэформе сацыяльнай дапамогі павялічаць беднасць і знізяць даходы сем’яў з найменшай групай даходаў. … Мы мяркуем, што ў выніку за рысу беднасці апусціцца яшчэ 2,6 мільёна чалавек, у тым ліку 1,1 мільёна дзяцей . (Гарадскі інстытут, 1996, с. 1)
Прыхільнікі дабрабыту аб’ядналіся вакол гэтага прагнозу, але палітыкаў не пераканалі. Сенатары, якія падтрымалі рэформу, проста не верылі, што сацыёлагі могуць рабіць сапраўдныя прагнозы такога роду. І яны мелі рацыю. Урбаністычны інстытут нават не мог прадбачыць напрамак зменаў, не кажучы ўжо пра іх маштаб. Пасля рэформы сацыяльнай дапамогі дзіцячая беднасць знізілася, а не ўзрасла.
Мадэль Urban Institute была значна больш складанай, чым іншыя мадэлі, якія мы разглядалі ў гэтым артыкуле, але дадатковая складанасць, здаецца, толькі ўскладняла праблему. Выкарыстоўваючы складаныя метады “мікрасімуляцыі”, яны прымалі карэляцыі, якія існавалі ў мінулым, уводзілі іх у складаныя ўраўненні, а потым разглядалі гэтыя ўраўненні як агульныя законы. Уся іх матэматыка грунтавалася на здагадцы, што нічога прынцыповага не зменіцца, і ў гэтым выпадку, вядома, рэформа сацыяльнай дапамогі не атрымаецца. Усё, што зрабіла мадэль, – гэта вырабляць лічбы, якія ілюструюць іх аргументы і робяць іх навуковымі. Але сэнс рэформы быў у тым, каб усё змяніць, і гэта адбылося.
Чаму рэгрэсія не атрымліваецца
Хоць яны і падаюцца складанымі, на самай справе рэгрэсійныя мадэлі з’яўляюцца спрашчэннем рэальнага свету. Для спрашчэння матэматыкі пры рэгрэсіі выкарыстоўваюцца лінейныя ўраўненні. Гэта азначае, што мяркуецца, што калі вы пабудуеце на графіцы сувязь паміж любымі дзвюма зменнымі, тэндэнцыя будзе выглядаць як прамая лінія. Рэгрэсійныя мадэлі таксама мяркуюць, што зменныя размяркоўваюцца ў адпаведнасці з класічнай званочкавай нармальнай крывой. І мяркуецца, што аналітыкі ведаюць, якія зменныя з’яўляюцца прычынамі, а якія следствам. Вядома, аналітыкі рэгрэсіі ведаюць, што рэальны свет не адпавядае іх здагадкам, і яны робяць розныя карэктывы дадзеных, каб кампенсаваць іх. Але карэкціроўкі ствараюць іншыя праблемы. Адзіны сапраўдны спосаб праверыць мадэль пасля ўсіх гэтых карэкціровак – паказаць, што яна працуе для прагназавання будучых тэндэнцый. Рэгрэсійныя мадэлі, для якіх не было прадэманстравана, што працуюць са свежымі дадзенымі, акрамя дадзеных, якія выкарыстоўваюцца для іх стварэння, з’яўляюцца непажаданай навукай.
Чаму рэгрэсія не атрымліваецца: лінейныя мадэлі нелінейнага свету.
Сутыкнуўшыся з нелінейнасцю рэальнага свету, першым інстынктам мадэляра рэгрэсіі з’яўляецца стандартызацыя і кантроль дадзеных. Робячы гэта, яны мінімізуюць альбо ліквідуюць найбольш цікавыя і важныя гістарычныя падзеі. У канчатковым выніку яны аналізуюць стандартызаваны і ідэалізаваны свет, які практычна не мае дачынення да рэальнасці. Напрыклад, разгледзім тэндэнцыі росту турмы і забойстваў, якія Марвел і Мудзі (1997) імкнуліся растлумачыць. Іх праца пачынаецца з графіку, які адлюстроўвае тэндэнцыі па колькасці зняволеных на 100 000 чалавек і забойствы на 1 000 000 чалавек у ЗША. Гэты вельмі цікавы і карысны графік прайграны ніжэй з іх дадзеных.
Цікавыя рэчы, якія паказвае графік, – гэта пераломныя моманты, месцы, дзе тэндэнцыі разыходзяцца з лінейнасцю. Узровень забойстваў рэзка павялічыўся з сярэдзіны 1960-х да пачатку 1970-х гадоў, а потым знізіўся. Колькасць зняволеных была расстраляна прыкметна, пачынаючы з 1970-х гадоў, калі Злучаныя Штаты пабудавалі больш турмаў у адказ на рост узроўню злачыннасці. Узровень забойстваў знізіўся ў 1980-х і пасля гэтага заставаўся стабільным.
Замест таго, каб паспрабаваць растлумачыць гэтыя важныя пераломныя моманты, Марвел і Мудзі выкарыстоўвалі некалькі метадаў рэгрэсіі, каб “кантраляваць” яго. Яны ўвялі кантроль над усімі вымяраемымі зменнымі, якія яны маглі прыдумаць, уключаючы (Marvell and Moody, 1997: 209) “узроставую структуру, эканамічныя фактары, грамадскі рэльеф, расу і зменныя, якія адзначаюць Другую сусветную вайну і эпідэмію расколін“.
Усе гэтыя элементы кіравання выдалілі дзіўныя гістарычныя змены са сваіх дадзеных. Гэта прывяло іх да высновы, што павелічэнне колькасці турмаў на 10% прыводзіць да прыблізна 13% забойстваў. Але просты агляд іх графіку паказвае, што абяцанае зніжэнне ўзроўню забойстваў на 13% за кожнае павелічэнне тэрміну зняволення на 10% з 1975 г. проста не адбылося.
Марвела і Мудзі непакоіла тое, што чаканага скарачэння не адбылося, але гэтага было недастаткова, каб прымусіць іх адмовіцца ад сваіх эканаметрычных метадаў. У рэшце рэшт, яны абмяркоўвалі не рэальны свет, а свет, спрошчаны і ачышчаны доўгім шэрагам матэматычных карэкціровак. Сутыкнуўшыся з гістарычнымі фактамі, яны сцвярджалі, што, калі б турма не павялічылася, забойствы сталі б значна горшымі. Аднак яны працягвалі заўважаць, што гэтага на самой справе ніколі б не адбылося, бо ўрад прыняў бы іншыя меры, каб прадухіліць гэта.
Але ў чым каштоўнасць аналізу, які прыводзіць да наступстваў, якія, як разумеюць аўтары, ніколі не могуць мець месца? Наколькі сапраўднай можа быць тэорыя, якая ляжыць у аснове аналізу множнай рэгрэсіі, калі яна пакідае такія ключавыя зменныя, як палітычныя абмежаванні, проста таму, што іх немагчыма вымераць колькасна? Наколькі вынікі залежаць ад адвольных рашэнняў аб тым, якія кантрольныя зменныя ўводзіць і як іх вымераць? У Марвела і Мудзі засталіся статыстычныя дадзеныя, якія хацелі сказаць нам, што магло б адбыцца, калі б нічога не адбылося на самой справе.
Чаму рэгрэсія церпіць няўдачу: свет – гэта не крылатая форма.
У дадатак да лінейнасці, шматразовая рэгрэсія мяркуе, што кожная зменная “звычайна” размяркоўваецца па ўсіх астатніх у класічным малюнку званочкавай крывой. Гэта азначае, што большасць выпадкаў павінна быць згрупавана ў сярэднім па кожнай катэгорыі, прычым у крайніх выпадках мала. Часта дадзеныя ў асноўным парушаюць гэта здагадка, што прыводзіць да цалкам памылковых вынікаў. Добры прыклад – дадзеныя Джона Лота пра кіраванне зброяй.
Лот сабраў велізарны набор дадзеных, які ён шчодра зрабіў даступным для іншых даследчыкаў. На жаль, ён не пачаў з графікі сваіх дадзеных, магчыма, таму, што яго было так шмат. Але заўсёды добра пачынаць аналіз з графікаў, каб убачыць тэндэнцыі, перш чым яны будуць азмрочаны ўсімі статыстычнымі карэкціроўкамі. Калі нельга ўсё адлюстраваць, усё роўна варта адлюстраваць некаторыя рэпрэзентатыўныя выпадкі. Такім чынам, выкарыстоўваючы дадзеныя Лота, я склаў графік тэндэнцый узроўняў забойстваў у шэрагу графстваў, дзе законы “выдаваць” уступілі ў сілу на працягу перыяду, ахопленага яго даследаваннем. Перад тым, як былі прынятыя законы, “мясцовыя чыноўнікі” мелі права надзяляць дазволы на нашэнне схаванай зброі. Пасля прыняцця яны павінны былі даць дазвол любому законапаслухмянаму даросламу чалавеку, які хацеў бы яго. Калі б гіпотэза Лота была правільнай, мы чакалі б, што ўзровень забойстваў знізіцца пасля прыняцця законаў.
На наступным графіку адлюстраваны тэндэнцыі да ўзроўню забойстваў у найбуйнейшых акругах некалькіх штатаў, якія прынялі законы “павінны выдаваць” у 1977-1992 гг. Дата ўступлення законаў у дзеянне вар’іравалася ў розных штатах. Перш чым чытаць далей, чытачу можа быць цікава вывучыць графік і паспрабаваць зрабіць выснову, калі закон уступіў у сілу ў кожнай акрузе.
Разглядаючы графік, мы бачым, што заканамернасць у акрузе Місула, штат Мантана, выглядае досыць няўстойлівай: вельмі рэзка зніжаецца ўзровень забойстваў у 1979 і 1991 гг. Гэта, аднак, не рэальная з’ява, а вынік аднаго з карэкціроўкі, зробленыя Лотам, каб кампенсаваць ненармальнасць сваіх дадзеных. Замест таго, каб выкарыстоўваць фактычныя лікі, ён пераўтварыў свае лічбы ў натуральныя лагарыфмы. Гэта звычайная практыка, бо натуральныя лагарыфмы часта адпавядаюць здагадкам множнай рэгрэсіі лепш, чым фактычныя дадзеныя. Колькасць у файле дадзеных Джона Лота для акругі Місула ў тыя гады складае -2,30. Гэта дзіўна, бо ўзровень забойстваў у акрузе не можа апускацца ніжэй за нуль, калі толькі раней забітыя людзі не вернуцца да жыцця. Аднак такой удачы няма. Каб атрымаць фактычны ўзровень забойстваў у кожнай акрузе, трэба пераўтварыць лагарыфмы ў наборы дадзеных Лота з формулай true rate = e лагарыфмічная хуткасць , дзе e = 2,71828. Зрабіць гэта лёгка пры дапамозе кнопкі e x на навуковым калькулятары. Калі ўвесці ў такі калькулятар -2,3 і націснуць кнопку e x, атрымаецца 0,1, альбо дзесятая частка забойства на 100 000 насельніцтва. На самай справе, сапраўдная лічба забойстваў у акрузе Місула ў 1979 і 1991 гадах была роўнай нулю. Лот выкарыстаў .1 замест нуля, таму што натуральны лагарыфм нуля матэматычна не вызначаны, таму пакіданне яго роўным нулю стварала б адсутнічаюць дадзеныя. У ягоных файлах дадзеных аб забойствах знаходзіцца мноства -2,3, таму што многія акругі даволі маленькія, значна меншыя за Місулу, дзе ў 1992 годзе было 81 904 чалавекі.
Размеркаванне забойстваў у амерыканскіх графствах зусім не блізка да нармальнай крывой у форме звана. Ёсць мноства маленькіх акруг, у якіх забойстваў мала або зусім няма, і некалькі даволі буйных з вялікай колькасцю забойстваў. Пераўтварэнне дадзеных у натуральныя лагарыфмы – адзін са спосабаў мінімізацыі статыстычных эфектаў ненармальных размеркаванняў, але ён можа ўнесці і іншыя скажэнні, як мы бачым у гэтым выпадку.
Пакідаючы ў баку скажэнні ў акрузе Місула, выкліканыя пераўтварэннем дадзеных у натуральныя лагарыфмы, тэндэнцыі ў гэтых акругах даволі гладкія. Ніякага відавочнага эфекту ад увядзення законаў “выдаваць” няма ў акрузе Місула ў 1991 г., у графстве Фултан (Атланта, штат Джорджыя) у 1990 г., у графстве Хіндс (Джэксан, штат Місісіпі) у 1990 г., у графстве Фэрфакс (Фэрфакс, Вірджынія). у 1988 г. і графства Канаўха (Чарльстан, Заходняя Вірджынія) у 1989 г.
Можна спытаць, чаму мы маем справу з гэтымі сярэднімі акругамі, а не з буйнымі населенымі пунктамі? Гэта была мая першая падказка пра асноўны недахоп аргументацыі Лота. Мая першая схільнасць складалася ў тым, каб адлюстраваць тэндэнцыі ў найбуйнейшых гарадах Амерыкі, бо менавіта там праблема забойстваў найбольш сур’ёзная. Я адразу выявіў, што ні ў адным з гэтых гарадоў не існуе закона “аб выдачы” . Законы “выдаваць” уводзіліся ў дзеянне ў першую чаргу ў штатах з нізкай шчыльнасцю насельніцтва. Гэта азначала, што дадзеныя Лота не адпавядаюць фундаментальным здагадкам для рэгрэсійнага аналізу. Для належнай працы множнай рэгрэсіі патрабуецца, каб пераменная “павінен выдаваць” звычайна размяркоўвалася па наборы дадзеных. Матэматычныя разлікі, якія выкарыстоўваюцца для “кіравання” ілжывымі адносінамі, не могуць працаваць, калі ў ключавых зменных няма дастатковай дыяпазоны змен. Гэта быў “курыльны пісталет”, схаваны ў масе табліц і складаных раўнанняў Лота. Ні ў адной кропцы кнігі ён не прызнаў гэтага факту. Калі я спытаў яго пра гэта, ён паціснуў гэта. Ён не бачыў у гэтым праблемы, бо “кантраляваў” колькасць насельніцтва.
Гэтыя парушэнні ў дадзеных цалкам анулявалі аналіз Лота. Прайшло два гады, перш чым Эйрэс і Данох’ю (1999) праверылі гэта ў эканаметрычным аналізе, але Зімрынг і Хокінс адразу паставілі пытанне аб праблеме ў 1997 г. Вывучыўшы заканадаўства аб кантролі над зброяй, яны ведалі, што законы “выдаваць” будуць устаноўлены ў штатах, дзе Нацыянальная стралковая асацыяцыя была магутнай, у асноўным на Поўдні, Захадзе і ў сельскіх рэгіёнах. Гэта былі дзяржавы, якія і без таго мелі абмежаванні на зброю. Яны заўважылі, што гэтая заканадаўчая гісторыя расчароўвае (Зімрынг і Хокінс, 1997: 50). “Наша здольнасць параўноўваць тэндэнцыі ў” краінах, якія выдаюць “, і тэндэнцыі ў іншых штатах. Паколькі дзяржавы, якія змянілі заканадаўства, адрозніваюцца па сваім месцазнаходжанні і канстытуцыі ад дзяржаў, якія не, параўнанне паміж заканадаўчымі катэгорыямі заўсёды рызыкуе пераблытаць дэмаграфічны і рэгіянальны ўплыў з паводзінамі розных прававых рэжымаў “. Зімрынг і Хокінс (1977: 51) адзначаюць, што:
Лот і Гарчыца, вядома, ведаюць пра гэтую праблему. Іх рашэнне, стандартны эконометрический метад, складаецца ў стварэнні статыстычнай мадэлі, якая будзе кантраляваць усе адрозненні паміж Айдаха і Нью-Ёркам, якія ўплываюць на ўзровень забойстваў і злачыннасці, акрамя законаў “аб выдачы”. Калі ў нашай мадэлі можна “вызначыць” асноўны ўплыў на забойствы, згвалтаванні, узломы і крадзяжы аўтамабіляў, то мы можам выключыць уплыў гэтых фактараў на розныя тэндэнцыі. Лот і Гарчыца ствараюць мадэлі, якія ацэньваюць уплыў дэмаграфічных дадзеных, эканамічных дадзеных і крымінальнага пакарання на розныя злачынствы. Гэтыя мадэлі з’яўляюцца галоўнымі ў статыстычнай хатняй кулінарыі тым, што яны створаны для гэтага набору дадзеных гэтымі аўтарамі і апрабаваны толькі на дадзеных, якія будуць выкарыстаны для ацэнкі ўздзеяння, якое мае права на перанос.
Лот і Гарчыца рабілі параўнанне тэндэнцый у Айдаха, Заходняй Вірджыніі і Місісіпі з тэндэнцыямі ў Вашынгтоне і Нью-Ёрку. На самай справе адбылося тое, што ў 1980-х – пачатку 1990-х гадоў у буйных усходніх гарадах адбыўся выбух забойстваў, звязаных з расколінамі, большасць з якіх – сярод людзей, якія былі дастаткова добра ўзброеныя, нягледзячы на адсутнасць дазволу на зброю. Увесь аргумент Лота зводзіўся да сцвярджэння, што ў асноўным сельскія і заходнія дзяржавы, якія “выдадуць”, былі пазбаўлены эпідэміі забойстваў, звязанай з расколінамі, з-за сваіх законаў “выдаваць”. Да гэтага ніколі не ставіліся б сур’ёзна, калі б яго не засланіў лабірынт раўнанняў.
Чаму рэгрэсія не атрымліваецца: адсутнасць прагназуючага тэсціравання.
Тэст кіслаты пры статыстычным мадэляванні – гэта прагназаванне. Карысная мадэль павінна рабіць прагнозы, якія лепш, чым выпадковыя адгадкі. Толькі такім чынам можна вызначыць прычынна-выніковыя з’явы і праверыць прычынныя прагнозы. Мадэлісты рэгрэсіі часта робяць гэта з гістарычнымі дадзенымі, фактычна выкарыстоўваючы дадзеныя больш далёкага мінулага для прагназавання больш нядаўняга мінулага. Праблема гэтага заключаецца ў тым, што, калі вынік ужо вядомы, занадта лёгка наладзіць мадэль, каб яна адпавядала вядомаму выніку. Гэта падобна на выкарыстанне пазаўчорашняга надвор’я для прагназавання ўчорашняга надвор’я альбо пазаўчорашніх акцый для прагназавання ўчорашніх коштаў. Гэта можа быць карысна як спосаб навучання, але адзіным сапраўды пераканаўчым тэстам з’яўляецца прагназаванне заўтрашняга надвор’я альбо коштаў на акцыі. Гэты крытэрый, поспех у прагназаванні, выкарыстоўваецца для ацэнкі мадэляў фінансавых рынкаў, надвор’я, медыцынскіх вынікаў, тэндэнцый насельніцтва і многіх іншых з’яў. Усе гэтыя мадэлі працуюць недасканала, і рэгрэс дае нам добрую меру наколькі недасканала.
На жаль, даследчыкі, якія выкарыстоўваюць эканаметрычныя метады для ацэнкі сацыяльнай палітыкі, звычайна не падвяргаюць свае мадэлі прагнастычным тэстам. Яны маглі зрабіць гэта, альбо робячы будучыя прагнозы і чакаючы, што адбудзецца, альбо, калі гэта зойме занадта шмат часу, распрацоўваючы сваю мадэль з данымі адной папуляцыі, а затым выкарыстоўваючы яе для прагназавання вынікаў з іншай папуляцыяй. Але большасць даследчыкаў проста не робяць гэтага, альбо, калі яны робяць, мадэлі не працуюць, таму вынікі ніколі не публікуюцца. (Урбаністычны інстытут сапраўды зрабіў прагноз, але яны не дачакаліся, пакуль звесткі пра вынікі апублікуюць іх высновы. Калі дадзеныя паказалі, што іх мадэль не працуе, яны проста знялі яе са свайго веб-сайта.)
Часопісы, якія публікуюць гэтыя даследаванні, не патрабуюць прагнастычнага тэсціравання, што сведчыць пра тое, што рэдактары і рэцэнзенты слаба імкнуцца да сваіх абласцей. Замест гэтага даследчыкі бяруць дадзеныя на працягу пэўнага перыяду часу і працягваюць дасканала наладжваць і карэктаваць свае мадэлі, пакуль не змогуць “растлумачыць” тэндэнцыі што ўжо адбылося . Для гэтага заўсёды ёсць мноства спосабаў, і з сучаснымі камп’ютэрамі не так ужо і складана працягваць спрабаваць, пакуль вы не знойдзеце штосьці падыходнае. У гэты момант даследчык спыняецца, запісвае вынікі і адпраўляе дакумент для публікацыі. Пазней іншы даследчык можа скарэктаваць мадэль, каб атрымаць іншы вынік. Гэта запаўняе старонкі часопісаў па сацыяльных навуках і дапамагае маладым прафесарам атрымаць пасаду. Усе робяць выгляд, што не заўважаюць, што невялікі прагрэс альбо яго наогул няма.
Альтэрнатыва: Настойвайце на зразумелых графіках і табліцах
Калі навукоўцы з прэстыжных універсітэтаў распаўсюджваюць у сродках масавай інфармацыі навуковую інфармацыю і публікуюць яе ў рэспектабельных часопісах, людзі, зразумела, скептычна ставяцца да значэння сацыяльных навуковых даследаванняў. Некалькі гадоў таму газета The Economist (13 мая 1995 г.) апублікавала рэдакцыю, у якой паведамлялася, што “74,6% сацыялогіі – нары”. Цынікі задумаліся, ці не магла ацэнка быць нізкай. Але важна не выкідваць дзіцяці з вадой для ваннаў. У галіне сацыялогіі, крыміналогіі і іншых сацыяльных навук праводзіцца добрая і добрая праца, хаця яна і не можа патрапіць у часопісы, якія ацэньваюць статыстычную складанасць у параўнанні з надзейнымі вынікамі. У найбольш надзейнай працы выкарыстоўваюцца больш простыя статыстычныя метады, якія не патрабуюць вялікай колькасці карэкціроўкі і стандартызацыі дадзеных. Гэта мае вялікую перавагу ў тым, што гэты твор могуць чытаць і выкарыстоўваць людзі, якія не прысвяцілі гадоў свайго жыцця вывучэнню незразумелых эконометрических прыёмаў.
Даследаванні, якія шырока выкарыстоўваюць графіку, такія як даследаванні Селіна (1959) і Блюмштэйна і Уолмана (2000), былі значна больш паспяховымі і інфарматыўнымі, чым даследаванні рэгрэсіі. У якасці прыкладу магутнасці простых графічных метадаў мы можам адлюстраваць некаторыя дадзеныя з набору дадзеных кіравання зброяй Джона Лота. Калі набор дадзеных настолькі велізарны, можа спатрэбіцца выбраць для графікі невялікую яго частку, але гэта можа быць дастаткова інфарматыўным, калі выбар зроблены якасна. Праглядаючы дадзеныя Лота, я выявіў, што ў штаце Пенсільванія ў 1989 годзе быў прыняты закон “выдаваць”, але горад Філадэльфія быў вызвалены ад яго. Гэта дало выдатную магчымасць для “натуральнага эксперымента”, параўноўваючы тэндэнцыі ў дзвюх сталічных абласцях, якія адрозніваліся па ключавой зменнай. Далей прыведзены графік параўноўвае тэндэнцыі ў Філадэльфіі, якая з’яўляецца горадам і графствам, з тымі, што адбыліся ў акрузе Алегені, да якой адносіцца і Пітсбург. Графік паказвае, што ўзровень забойстваў у Філадэльфіі, як правіла, вышэйшы, чым у акрузе Алегені, але прыняцце закона, які дае грамадзянам права атрымліваць дазволы на нашэнне схаванай зброі, не аказала станоўчага эфекту ад Джона Лота. Фактычна, узровень забойстваў у акрузе Алегені зніжаўся да прыняцця закона, а потым нязначна павялічыўся. У Філадэльфіі ўзровень забойстваў павялічваўся, а потым зраўняўся, нягледзячы на тое, што новы закон не дзейнічаў у гэтым горадзе. Статыстыка гвалтоўных злачынстваў у тых жа двух акругах паказвае аднолькавую заканамернасць. Дэзагрегацыя дадзеных такім чынам дазваляе абапірацца на нашы якасныя гістарычныя веды пры інтэрпрэтацыі статыстычных тэндэнцый. Каб дыскрэдытаваць гэты вывад, прыхільнікам схаванай зброі трэба было б паказаць, як іншыя фактары нейкім чынам кампенсавалі адмову закона аб атрыманні яўнага эфекту.
Высновы.
Гэтых выпадкаў можа быць дастаткова, каб пераканаць большасць чытачоў у тым, што шматразовая рэгрэсія не вельмі карысная для доказу прычынна-следчых аргументаў, па меншай меры, пра гістарычны ўплыў сацыяльнай палітыкі. На самай справе, праблема шырэйшая за гэта, і многія спецыялісты сумняюцца, што шматразовая рэгрэсія з’яўляецца сапраўдным спосабам урэгулявання любога віду тэарэтычных аргументаў. У 1985 г. Стэнлі Ліберсан (1985: ix), выдатны прафесар Каліфарнійскага універсітэта, напісаў: “Я цалкам прыхільны эмпірычным мэтам даследаванняў, якія сустракаюцца ў большасці сучаснай сацыялогіі, з акцэнтам на строгасць і колькасную ацэнку. Аднак … Я з неахвотай прыйшоў да высновы, што шмат якія працэдуры і здагадкі на гэтым прадпрыемстве не маюць большай вартасці, чым пошукі вечнага рухавіка “. У 1991 г. Дэвід Фрыдман, выдатны сацыёлаг з Каліфарнійскага ўніверсітэта ў Берклі і аўтар падручнікаў па колькасных метадах даследавання, пахіснуў асновы мадэлявання рэгрэсіі ў сацыяльных навуках, калі шчыра заявіў: “Я не думаю, што рэгрэс можа прынесці шмат чаго” цяжару ў прычыннай аргументацыі. Ураўненні рэгрэсіі самі па сабе не даюць вялікай дапамогі ў кантролі за змешваннем зменных “(Freedman, 1991: 292).
Артыкул Фрыдмана выклікаў шэраг моцных рэакцый. Рычард Берк (1991: 315) заўважыў, што аргумент Фрыдмана “будзе вельмі складаным для большасці колькасных сацыёлагаў. Ён ідзе да сутнасці іх эмпірычнага прадпрыемства і, такім чынам, ставіць пад пагрозу цэлую прафесійную кар’еру“.
Грамадская навука не мае належных працэдур для прызнання правалу шырока выкарыстоўванага метаду даследавання. Метады, якія замацоўваюцца ў аспіранцкіх праграмах вядучых універсітэтаў і публікуюцца ў прэстыжных часопісах, як правіла, працягваюцца. Многія непрафесіяналы мяркуюць, што калі даследаванне было апублікавана ў добрым рэцэнзаваным часопісе, ёсць пэўныя ўпэўненасці ў яго сапраўднасці. Выпадкі, якія мы разглядалі тут, паказваюць, што гэта не так. Экспертная праверка запэўнівае, што прытрымліваліся ўстояных практык, але гэта мала дапамагае, калі гэтыя практыкі самі з’яўляюцца няспраўнымі.
Знайсці недахопы ў даследаваннях рэгрэсіі складана. Звычайна адзіны спосаб быць упэўненым у іх – атрымаць набор дадзеных і прааналізаваць дадзеныя. Гэта больш, чым можна чакаць ад рэцэнзента з прафесійнага часопіса. Каб паўтарыць даследаванне множнай рэгрэсіі, патрэбны час, звычайна год-два, і шмат якія даследаванні ніколі не атрымліваюць тыражавання, бо яны нікога не цікавяць. Нават калі рэплікацыя зроблена і не пацвярджае даследаванне, рэдактары часопісаў могуць адчуць, што гэта проста выпадак звычайнай навуковай дыскусіі. Аднак праблема ў тым, што рэальнага прагрэсу не адбываецца. Мы не бліжэй да карыснай матэматычнай мадэлі для прагназавання ўзроўню забойстваў, чым тады, калі Эрліх апублікаваў сваю працу ў 1975 годзе.
У сацыялогіі і крыміналогіі няма такіх важных высноў, якія былі б настолькі складанымі, што іх нельга было б паведамляць з графікамі і табліцамі, зразумелымі разумным прафарыентацыям і палітыкам. Час прызнаць, што ў імператара няма адзення. Шматлікая рэгрэсія і іншыя метады матэматычнага мадэлявання проста не апраўдалі сваіх абяцанняў як метад ацэнкі ўздзеяння дзяржаўнай палітыкі. Даследаванні, якія сцвярджаюць адваротнае, з’яўляюцца непажаданай навукай.
Спіс літаратуры
Айрэс, І. і Донох’ю, Дж. (1999). “Законы аб недыскрэтнай схаванай зброі: тэматычнае даследаванне статыстыкі, стандартаў доказу і дзяржаўнай палітыкі”. Am. Law and Ec. Revv1 : 436-470.
Берк, Р.А. (1991) “Да метадалогіі абывацеляў”,Sociological Methodology 21: 315-324.
Блэк Д. і Нагін Д. (1998). “Ці забараняюць законы аб правам гвалтоўных злачынстваў стрымліваць?” J. Legal Studies 27: 209-219.
Блюмштэйн, А. і Уолман, Дж. (Рэд.), Зніжэнне злачыннасці ў Амерыцы, Cambridge University Press, Нью-Ёрк, стар. 13-44.
Болдт, Д. (1999). “Даследаванне доказаў зброі”, Philadelphia Inquirer , 14 снежня. Загружана 17 мая 2000 г. з http: // w w w.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm .
Бонэр, Р. і Фессендрэн, Ф. (2000). “Дзяржавы, якія не маюць смяротнага пакарання, маюць меншы ўзровень забойстваў”, New York Times , 22 верасня. Загружана з: http://www.nytimes.com/2000/09/22/national/22DEAT.html .
Donohue, J. і Levitt, S. (1999). “Легалізаваны аборт і злачыннасць”. Юрыдычны факультэт Стэнфардскага універсітэта. Загружана ў жніўні 2000 г. з: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 .
Эрліх, І. (1975). “Стрымлівальны эфект смяротнага пакарання: пытанне жыцця і смерці”, Am. Эк. Р. 65: 397-417.
Фокс, Дж. (2000). “Дэмаграфія і забойствы ЗША”, У Blumstein, A. і Wallman, J. (рэд.), The Crime Drop in America, Cambridge University Press, New York, pp. 288-317.
Фрыдман, Д.А. (1991) “Статыстычныя мадэлі і скура абутку”. Sociological Methodology 21: 291-313.
Лот, Дж і Гарчыца, Д. (1997). “Злачынства, стрымліванне і права насіць схаваныя пісталеты”, J. Legal St. 26: 1-68. Загружана 10 жніўня 2000 г. з: http://www.journals.uchicago.edu/JLS/lott.pdf
Лот, Дж. (2000). Больш зброі, менш злачыннасці: Разуменне законаў аб злачыннасці і кантролі над зброяй. University of Chicago Press, другое выданне з дадатковымі аналізамі.
Лотт, Дж. І Дж. Уітлі, “Аборты і злачынствы: непажаданыя дзеці і нараджэнні па-за шлюбам”, Даследчы артыкул Ельскага права і эканомікі № 254. Загружана 9 ліпеня 2001 г. з
http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126 .
Манскі, Ч. (1978). “Перспектывы высновы аб стрымліванні шляхам эмпірычнага аналізу індывідуальнага злачынства”. У Blumstein, C, et. al, eds, Deterrence and Incapacitation, Вашингтон: Нацыянальная акадэмія навук, стар. 400-424.
Марвел, Т. і Мудзі, К. (1997). “Уплыў росту турмы на забойствы”. Homicide St. 1: 205-233.
Зелін Т. (1959). The Death Penalty. Амерыканскі юрыдычны інстытут, Філадэльфія.
Зімрынг, Ф. і Хокінс, Г. (1997). “Схаваная пісталет: падробка стрымліваючым сродкам “, The Responsive Community 7: 46-60.