Про біженців та статистику

[mprotsenko]

Я безмежно вдячний усім країнам, які приймають українських біженців. Мені навіть соромно за різницю у ставленні до українців у порівнянні з, наприклад, сирійцями.

Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.

Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.

Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?

Comments

[malyj_gorgan]

> а може тому, що в плані криміналу - молоді чоловіки найгірші за будь-яку іншу группу?
Я в курсі і абсолютно погоджуюся, що це нормально, до них підозріливіше ставитися, шукаючи злочинців, ніж, наприклад, до старих жінок. :)
Просто, такий підхід називається profiling, і купа народу вважає, що коли профайлінг за расовими ознаками, то це расизм і погано, але коли він за статевою ознакою, то це не сексизм, і нічо. Я колись мав про це довгу розмову з кимось, не пам'ятаю, здається, ще не з тобою

[mprotsenko]

Навіть сам класичний поліцейський профайлінг - це погано.

Бо з одного боку, він створює перекіс, коли злочинців в інших групах ігнорують (бо не звертають а них уваги - і це не фантастика, на фрат-вечірці в Стенфорді можна більший відсоток людей саджати за діло, ніж на БЛМ-протесті.)

З іншого боку - в умовах неідеальних копів, прокурорів та судей це створює те, що в групі, яку профайлять - набагато більше арештовують і засуджують НЕВИННИХ. (Якщо цікаво - я бачив статистику, вражає.)



Але є ще цікавий момент, бо буває профайлінг і профайлінг - профайлінг з точки зору one-up group (влади, насильника) і з точки зору one-down group (пригнічених, жертви). Здавалось би, статистично це теж саме, а соціально - небо та земля. Про що я?

Скажемо, приходить до мене найматися чорний хлопець і я кажу: "Ні, йди нафіг, ти в поганій групі (навіть в двох!)". Тут я виступаю як влада, яка профайлінг використовує, щоб реально нашкодити комусь. (При тому я про цю шкоду навіть могу не думати - intent vs impact!)

З з іншого боку - реальна картина з мого минулого. 1999 рік, заходжу в ліфт, за мною дівчина. дивиться на мене (2м, зламаний ніс, брита башка), каже "перепрошую, я з вами не поїду" і виходить. Чисто формально - вона мене запрофайлила. Мені від цього, звісно, неприємно, але я розумію, що в оцінці ризиків та наслідків - вона права, бо якщо я виявлюсь навіть не бандитом, а тупо мудаком, то міліція нічого не зробить, свідків нема, коли вб'ють, тоді і приходьте. (Плюс, що важливо - реальної шкоди для мене, звісно, нема.)



Ось таких хитрий та підступний звір цій профайлінг.

[malyj_gorgan]

Це все кльово, але про наслідки, неідеальності і все щ завгодно.
Але от реальна ситуація: поліцейський знає, що штовхнули на землю стареньку жінку, забрали гаманця і тікають. Хто штовхнув -- не знає, але коли бачить, як одною і тою ж вулицею біжить чорний хлопець і біла дівчина, зупиняє перевірити хлопця. (І правильно, грабіжником був він.) Мені не одна людина доказувала, що сам факт, що, не маючи точної інформації, хто грабіжник, поліцейський чинив саме так, свідчить про расизм поліцейських. А про сексизм не свідчить.
До речі, десь на рік пізніше в тому ж нейборхуді пропала маленька дівчинка. (Потім знайшлася, зайшла не туди.) Але поряд був якраз поліцейський, йому сказали по радіо, то він, побачивши в радіусі півблоку від перехрестя, де він виліз з машини, одного чоловіка і двох жінок з дітьми потенційно того віку, проігнорував жінок, а пішов питатися у лисого білого чувака. І це не сексизм. (Хоча якби чувак був чорний, то, впевнений, знайшлися би ті, хто звинуватив би поліцію в расизмі.) Я не того копа не ображаюся, що поробиш, якщо серед таких, як я, більше викрадачів дітей, ніж серед жінок, але школу думки, де рівняють профайлінг і расизм, зневажаю.

[mprotsenko]

А з іншого боку - реальна ситуація, це коли мені менти затримують (аж до "ласти загортають та в околоток тягнуть"), ігноруючи реальних порушників та злочинців, тобто реально ігноруючи, тупо відгортаючись. І при тому вони користуються тими самими даними для профайлу, що і дівчина з попередньої історії, а результат - інший!



Але, камон, бро, the multiple of anecdote is not data - на кожен анекдотальний випадок, коли поліцейський зробив правильно можна знайти контранекдот, коли він чи вона зробили неправильно, і то, що менти так чинили зі такою няшечкою як я, чи так чинили з тим чорним злочинцем - не доводить ані мою, ані твою точку зору.

Більш того, використання анекдотів як доказів (а не як ілюстрації к даним) - унеможливлює продуктивну дискусію. Бо вмикається confirmation bias і починається те, що я кажу - нарративи, імідж, оце все це - замість вивчення вопроса і обговорення по суті.



Я не того копа не ображаюся, що поробиш, якщо серед таких, як я, більше викрадачів дітей, ніж серед жінок

А щось тому копу заважало усіх зупинити та опитати? Сказати ти, ти і ти, будь ласка, почекайте хвилиночку, є важливі питання, загубилася дівчинка? (і оцінити реакцію усіх трьох заодно - переходячи від гендерного профайлінгу до біхевіорального?) Хтось з вас трьох тікав?

Бо якщо ні - то ризик проігнорувати можливу злочинницю тут як раз перевішує необхідність в профайлінгу. І, виходить, профайлінг тут як раз куди менш доречний, ніж в ситуації, коли час на рішення - долі секунди, максимум - секунди.

Я далекий від того, щоб вважати, що в будь-якій ситуації поліцейський може бути абсолютно нейтральним комп'ютером - але і вважати, що в будь-якій ситуації треба не вмикати голову, а користуватися байасами - тоже так собі ідея, ні?

[malyj_gorgan]

> multiple of anecdote is not data... і то, що менти так чинили зі такою няшечкою як я, чи так чинили з тим чорним злочинцем
So? Я тут розпинаюся, що мене якраз і бісить, коли люди, чуючи single anecdote, однозначно впевнені, що це расизм. Ну і, додатково бісить, що, ніби, у всіх інших питаннях це раціональні люди, бо сексизма чи, он, ейджизма в тому не бачать.

До твого питання: так, копу щось заважало одночасно опитати нас трьох. Йому доводилося вибирати, до кого з трьох дорослих підійти, обов'язково втрачаючи з поля зору інших двох потенційних крадіїв, бо ми були на різних вуличках, розходилися від одного перехрестя. Якби то були справді крадії, вони би мали шанс втекти: принаймі, одна з них, хто, як і я, був за дорожньою тумбою, на машині не проїдеш. Ось, перехрестя, я там 11 років дітей вигулював :) У випадку, коли треба було зупиняти бігуна, той коп теж мусив вибиртати, куди бігти спочатку. Такий профайлінг в роботі всякого копа стається постійно, робота така. Тому факт пройфалінгу не можна використовувати як доказ або навіть ілюстрацію зловмисної упередженості. Це весь мій месидж, не більше, не менше.

[mprotsenko]

Я про проблему з визначенням терміну "расизм" (упередженість чи імпакт) окремий коментар залишив - але то окрема проблема. В спілкуванні є ще складність з визначенням чи то "люди чують окремий анекдот" чи то "люди знайомі зі статистикою, яку той анекдот підтверждує" (що само по собі може бути confirmation bias - але може і не бути).

Тут ще і таке - якщо ми вважаємо нормою профайліти чорних підлітків, бо в них статистика, то і профайліти копів - теж норма. Бо в копів теж статистика теж така, "атарві і вибрась". Чи якщо профайліти чорних підлитків не айс (як мінімум в тих випадках, коли того можна запобігти - коли є час увімкнути мозок), але і копів профайліти в онлайн дискусіях (де час подумати те ж є) - не можна.

Nobody can have it both ways - ані ти, ані ти, кого ти критикуєш.

(Це ж реально сувора іронія, щоб не сказати гірше. З одного боку, виходить, що копу норм профайліти і робити висновки на базі профайлу. Але з іншого, коли починають профайліти та робити висновки вже щодо самого копа і його нібито расизму - ой, бісить, фуфуфу!)


До твого питання: так, копу щось заважало одночасно опитати нас трьох.

А навіщо одночасно? що, запитати, будь ласка, почекайте ось тут хвилиночку - не можна? чи навіть гаркнути - ти, ти, ти - стій на місці, підійди сюди, важлива справа! (а потім вже опитати, одночасно чи по черзі?)

"Sorry, m'a'm, you, and you, and you, sir - wait a second, I need your help, can you please come here?"

(Космічні технології, блін, покликати трьох людей... :) в інших ситуаціях вони цілком вміють так робити, я сам бачив, правда-правда :) )

[malyj_gorgan]

> ... профайліти копів - теж норма..
Звичайно.

> ... профайліти і робити висновки ...
Wrong. Ти жирним шрифтом проілюстрував основну проблему, проти якої я весь цей час протестую. Не можна ці поняття разом розглядати. Профайлити -- одне, робити висновки -- інше. Підозріливіше ставитися до Васі, бо його профіль корелює з профілем типового злодія і наркомана -- ок. Звинувачувати Васю за це ж -- злочин. Підозріливо ставитися до поліції, бо вони схильні до расизму і зловживань -- правильно і потрібно. Називати сам факт профайлинга расизмом -- зло і профанація.

> А навіщо одночасно? що, запитати, будь ласка, ... Sorry, m'a'm, you, and you, and you, sir -
Космічні технології -- фігня, з тутешніми дітьми працювати часом важче, вже мовчу про батьків. Я правильно пам'ятаю, що ти не так щоби регулярно гуляєш з кількарічними дітьми?... Таке можна зробити впритул, за 5 метрів треба буде крикнути, за півблоку розводити алярми. Відповідно, поки у нас не облава, а обережна перевірка, чи все ок, то так, усіх охопити не вийде. Але то таке, вже тему зализали, там нічого особливо вартого уваги не ставалося.

Ще тут додам:
> .. intent vs impact ..
Я не погоджуюся з таким підходом, але це термінологічне, а так, навіть якщо допустити, що імпакт рулить, то мій поінт не міняється. Якщо пам'ятаєш, там ламент такого типу: якщо расовий профайлинг = расизм, то профайлинг за статтю = сексизм. Теж імпакт: через клятих сексистів поліцейських дев'ять з десяти в'язнів - чоловіки.

[mprotsenko]

Звинувачувати Васю за це ж -- злочин.

Так ось це, запрофайлів, спіймав та заарештував - це і є "звинуватив", ні? Міранда, звинувачення, оце все? В буквальному сенсі.

І на кожен анекдот "вгадав з профайлінгом і заарештував реального злочинця" є купа контранекдотів "не вгадав, заарештував та навіть засудив/вбив невинного".

(Тобто з таким підходом в твоєму анекдоті було б коректно робити так "бігли двоє, поліцейський спочатку придивився до чорного хлопця, побачив в нього в руках вкрадену сумочку" - і побіг арештовувати вже маючи probable cause, яка відрізняється від running while black. А "побачив чорного, зробив висновки і побіг його арештовувати по звинуваченню в крадіжці" - то це саме то і є, проти чого ти виступаєш, ні?)

[malyj_gorgan]

> ... запрофайлив, спіймав та заарештував - це і є "звинуватив", ..
Вибач, треба було писати англійське слово, українське багатозначніше. "Звинуватив" as in different from "висловив підозру", тобто, Indicted. Тобто, оце все "засудив / убив" , та і, за рідкісними винятками "заарештував", це все уже далеко поза рамками, де профайлинг дозволений.
Якщо чувак не винен, то зупинився і дав поліцейському перевірити, що все ок, якщо той помилився, то поліцейський вибачився і пішов шукати наступного кандидата. Все. Єдина проблема: якщо у тебе є інші причини бути заарештованим, то заарештують, навіть якщо торбинку крав не ти. Абидна, але це не расизм.

Ти там в іншому коменті згадав "false positives". Так в роботі правоохоронних органів, на рівні перевірки, помилки першого роду не проблема. Проблема -- false negatives, неперевірені злочинці, і ще більша проблема -- false positives на рівні звинувачень / покарань. Але друге є результатом проблем з доказами, а не пройфалинга.

> ...поліцейський спочатку придивився ...
Я бачив затримання на бігу двічі, раз тут, раз у Львові. Обидва рази все виглядало так, що фрази "придивився" і "розгледів сумочку" звучать як знущання над слухачем. Правильніше буде: краєм ока побачив фігуру і ломанувся за нею, розгледівши мінімум, усвідомивши ще менше. Дивно, ти, за твоїми ж розповідями, мав у житті набагато більше пригод, але якось твої уявні сценарії ну дуже сильно відрізняються від мого обмеженого досвіду: то копи зусиллям волі на відстані відвертають увагу батьків від шумних тодлерів, то на ще більшій відстані за долі секунди сканують інвентар бігунів... Куди там нашій берклійській поліції до луганської :))

[mprotsenko]

то копи зусиллям волі на відстані відвертають увагу батьків від шумних тодлерів

О, гучномовець (та і просто оклик) в нас якимось дивом перетворився на магічне зусилля волі... тобто ти вважаєш, що в такі високі технології копи не вміють? окей, окей... :))))



Єдина проблема: якщо у тебе є інші причини бути заарештованим, то заарештують, навіть якщо торбинку крав не ти. Абидна, але це не расизм.

Якщо таких саме злочинців, але іншого кольору - не заарештовують/арештовують значно менше, то по імпакту це таки расизм. (або якщо іншої статі - то сексизм, який теж може існувати!)




Так в роботі правоохоронних органів, на рівні перевірки, помилки першого роду не проблема. Проблема -- false negatives, неперевірені злочинці

По-перше, робота правоохоронних органів і їх помилки не закінчуються на рівні перевірки ("пробачте, в нас питаннячко. дякую, доброго дня!"). В роботі правоохоронних органів є такі речі як обшуки та арешти. І помилки там бувають типу "копи вбили невинну людину", "копи затримали невинну людину", "копи побили невинну людину та відпустили". Жодна з цих проблем не закінчується "звинуваченням" чи "покаранням" (з точки зору verdict/sentence).

Але навіть "завернули невинному ласти" - це зло. Фізичне насильство, як воно є.

Можна ще сперечатися, що це зло необхідне - і в деяких випадках я навіть можу погодитися. (Я ж нібито прямо казав про те, що в ситуації коли за долю секунди треба вирішити за кім бігти - профайлінгу важко уникнути.) Але вважати, що це добро в тих випадках, в яких можна зробити інакше - неправильно.





Я повторю питання - що ти скажеш про систему, яка має статистично помітну різницю між несправедливими арештами-засудженнями-вироками по кольору шкіри-статті-тощо? Її можна називати расистською? (сексистською і тепе?) Чи ці помилки припустимі і не можна казати про -ізми в таких випадках?


P.S. Я розумію, що якщо такі "помилки першого роду" тебе особисто не торкаються - то можна і не дивитися на них, зробити вигляд, що їх нема - але ж це саме та проблема, про яку я писав. (насрати на статистику, на вивчення питання - це все цікаво, але головне це анекдоти. І який сенс тоді в дискусії?)

[malyj_gorgan]

> Я повторю питання - що ти скажеш про систему, яка має статистично помітну різницю між
> несправедливими арештами-засудженнями-вироками по кольору шкіри-статті-тощо?
Названого недостатньо, щоби щось сказати. Для початку, залежить, як визначати. Природнє визначення, імхо, що справедлива система з однакою імовірністю розпізнає невинного, який попав під підозру. Але навіть у такій системі можна відтворити вищенаведену статистику, за рахунок різної частоти підозріваності.

Реальний приклад: донедавна я цим і займався, не злочинцвв ловив, а визначав цифрових шахраїв. Один наш клієнт, банк, після пілоту відмовився від наших послуг. Сказав, що фродстерів ми ловимо кльово, але в результаті виходить, що людям з historically underbanked minorities частіше відмовляють, ніж багатим білим. Банк пішов працювати з конкурентами, які обіцяли equitable алгоритми... Але через рік вернувся до нас, бо equitable алгоритми пропускали забагато шахраїв, і банк втрачав гроші (або доводилося задирати порогові значення моделі так, що відмов було більше і у minorities, і у majorities.

[mprotsenko]

Занудства для - "висловив підозру" це не indicted. Indictment - це взагалі не робота поліції, це робота прокурора/судді чи grand jury.

Поліція може suspect somebody - але ці підозри при арешті без ордера повинні бути на рівні probable cause.


В випадку з профайлінгом бігуна виходить:

- Your Honor, I saw this person - he was running and he was male and he was Black - and I know a lot of criminals who look like that. So I decided it is a good enough reason to pursue and detain him.


Вибач, але ж це явна фігня. Бо мінімально адекватний коп скаже:

- Your Honor, I saw this person, he was running and he wasn't dressed like a runner, so I assumed he was fleeing the crime scene. Thus, I assumed there is a high probability that he was involved in the incident and decided to pursue and detain him.

[malyj_gorgan]

Так, звичайно. Адекватний коп і реагує, в першу чергу, на підозрілу поведінку і підозрілий вигляд: що біжить не як джоггер, що, здається, щось ховає під худі, що вбраний не по-спортивному,..., а ще, чого доброго, як члени локального gang'у. А вже той факт, що така манера рухатися і одягатися характерніша для афроамериканців, одні назвуть расизмом, другі статистикою.

Що коп каже судді, я не знаю, але, крім підозрілого бігу, сподіваюся, міг би і сказати, що "that day, we had two other assault and theft incidents reported with the assailant described as a 6'-tall African American male in his mid-to-late teens wearing black jeans a dark brown hoodie. The suspect fit the profile and as he was attempting to escape the area by foot, I decided to initiate the pursuit"... Але знову ж таки, хочера, у нас макроскопічна частка чорних школярів підійде під такий опис, тому що, знову расизм?

[mprotsenko]

то профайлинг за статтю = сексизм. Теж імпакт: через клятих сексистів поліцейських дев'ять з десяти в'язнів - чоловіки.

А це дуже гарний аргумент, до речі - особливо якщо подивитися на false positives. Яке там в нас відношення невинно засуджених жінок до невинно засуджених чоловіків? Можемо подивитися та порівняти з расовим імпактом, ага.

UPD: Це, звісно, непроста проблема - але цікава, ні? Я тут гугланув - exoneration rate приблизно одинаковий, якщо по гендеру дивитися. (Дані з https://innocenceproject.org/, https://www.prisonpolicy.org/)

Цікаво б було ще віднормувати по типам злочинів, але і так є над чим подумати, особливо якщо порівняти цю статистику з расовою...


Бо, TBH, на імпакт для злочинців усім переважно насрати (особливо коли мова йде про серйозні злочини, по дрібницям є окремі питання) - але якщо ти скажеш, та пофіг з тим імпактом на невинних, ці помилки того варті... Ну, я сподіваюсь, що ти такого не скажеш - але... What say you?

[mprotsenko]

школу думки, де рівняють профайлінг і расизм, зневажаю

До речі, ти цілком правий, якщо визначати расизм через intent. Дійсно, у учасників профайлінгу, як правило, нема людожерських переконань (мовляв, та раса гірша за іншу), і наміри в них цілком добрі.

Але якщо визначати (системний) расизм (і будь-який інший -ізм) через impact - то ситуація стає протилежною. Бо побудувати систему де її гвинтик не має злих намірів, а система в результаті людожерська - більш ніж реально.



І ми, як українці, як раз бачимо це в черговий раз в реал-тайм. Що, чергова МарьІванна, яка приїхала з їбенів Сив-тив-"бля-як-це-місто-пишеться"-кару в окупований Ізюм - якось принципово ненавидить українців? Та ні, вона приїхала рятувати бідолашних діток, вчити їх російській мові та грошей заробити - а на виході чомусь системний імперіалізм та анти-українізм.

Це, звісно, екстремальний приклад, але і масштабом поменше системні -ізми теж існують. (А ще є окреме питання інтерсекційності...)

[mprotsenko]

АААА! Мені здається, я розкопав зерно проблеми.

- Ось є статистика, яка показує, що профайлінг приносить зло невинним.
- Але ... ось коп погнався за чорним хлопцем, так мені казали, що це профайлінг по расі, а не по гендеру.


So? По-перше, яке це має відношення до того, що я казав? Якщо ти погоджуєшся (а ти погоджуєшся), то до чого тут "але"? Це інша проблема, яка може мати відношення до твого спілкування з іншими людьми - а я і мої тези тут до чого?

По-друге, навіть в спілкуванні з іншими людьми - формулювати ситуацію, як "коп погнався за чорним хлопцем", якщо в реалі "коп погнався за 'не так одягненою' людиною" - все одно bad form, приховання суттєвих деталей в прикладі. Бо це, виходить, коп мав більш точну інформацію - не супер-точну, але набагато кращу ніж "о, чорний? запрофайлимо!".


Як не крути - в обох випадках виходить не дуже коректно, а такі теми потребують зайвої коректності, бо її відсутність - примушує вмикати фільтри, щоб перевірити, чи не перейшов співрозмовник на Dark Side of the Force. (Що в наш час трапляється так часто, що від цього теж виникають байаси, хехехе, I am guilty as charged, Your Honor.)

[malyj_gorgan]

Слухай, я таки не розумію, що ти від мене хочеш... або ти не розумієш, що кажу я..., але нема сили розбиратися. Одне знаю точно: це все по регламенту, а не по суті, тому на це можна забити. (А що я вірю, що ти не зі зла оце розвів, і, сподіваюся, ти аналогічної думки, то забити на цей шматок розмови можна з легким серцем.)

Перейду до основного, але, на всякий випадок, уточню базові терміни, бо, може, собака порилася саме тут.

Значить, перше: все, що робить поліція, або веб сек'юріті, або loans department -- це профайлинг і нічого іншого, за визначенням зі словника: ми використовуємо відомі змінні параметри (features) x_i, щоби визначити невідому "істину" (злочинець/шахрай/віддасть гроші). В принципі, поліція часом може знати істину, спостерігши злочин в процесі, але тривіальні випадки я одразу виключив. Ще додам, що в правохороні процес багатоступінчатий. Я говорю лише про першу ступінь "поліція зупнияє перевірити", тим більше, уже цю ступін лають за проблеми. Наступні ступені, як то арешт, слідство, прокурорське звинувачення і суд, які, по ідеї, встановлюють істину, занадто сильно ускладнюють все різними варіантами зловживань, упереджень і точок контролю.
2: "використовуємо змінні" у визначенні профайлінга не означає заміну істини чимось одним, "лисий => шахрай", а лише "включаємо в модель", ступінь впливу може бути мінімальна.
3: профайлинг без додаткового означення, шкідливість якого ти стверджуєш, що доказав, це "расовий профайлинг", так? Тобто, раса стає одною зі змінних класифікатора "cop's brain": x_раса ∈ {white, black, ...etc}.
4: Можливих результатів одної класифікації є чотири: не зупинили невинного, true negative; зупинили винного, true positive; не зупинили винного, false negative ; зупинили невинного, false positive. Сумарні кількості в кожнному сценарії, відповідно, TN, TP, FN, і FP. В цих термінах, задача класифікатора досягти максимальної чутливості S = TP/(TP+FN) при мінімальній частоті помилок першого роду FPR = FP/(TN+FP) або максимальній влучності P = TP/(TP+FP). У випадку поліції мова може іти лише про влучність, кількість TN майже ніколи не оціниш.
5: "несправедливість класифікатора", "поганий імпакт" чи "расистський ауткам", словом, те, що ми критикуємо, це про ситуацію, коли влучність P_black, порахована для предтавників x_раса=black значимо менша, ніж P_white для предстаників x_раса=white. Ну, або, коли влучність для "дискримінованої" раси менша, ніж для усієї демографії. Нехай
6. Порівнюючи можливі сценарії, ми повинні щось фіксувати. Найчастіше, S (метрика, може бути лише загальна, бо ми не можемо знати расу усіх невпійманих FN)

Ніби, основне прописали. Якщо ти не сходишся зі мною у визначеннях і формулюваннях, то, значить собака порилася тут. Найчастіше некоректне формулювання, яке я знаю, це, наприклад, претензії не до P_white vs P_black, а до абсолютних значень FP_white vs FP_black у порівнянні до расового складу регіону. Сподіваюся, не треба пояснювати, чому до такого претензій висувати не можна?

Якщо ж з формулюваннями все ок, то я згоден захищати свою тезу:
(а) При наявності кореляцій між x_раса і істиною в попередній статистиці (training set), результуючий класифікатор буде "несправедивим" незалежно від того, чи ми використовуємо расовий профайлинг напряму чи ні. Можливо, виключення x_раса зі вхідних змінних послабить рівень несправедливості, скажімо, зробить P_black / P_white ближчим до одиниці, але за рахунок зменшення S. При цьому зловмисний расовий профайлинг, мотивований нелюбов'ю до рас, в цілому понизить P для тої ж S або S для тої ж P тобто, погіршить глобальний результат
(б) Єдиним способом гарантовано змінити незловмисний класифікатор, враховує він x_раса, чи ні, є ввести регулязаційний параметр, який буде силою заганяти P_black / P_white поближче до одиниці, але такий підхід сильно зменшить максимально досяжні S і P і з великою імовірністю збільшить відмінність між P_i=1& і P_i=2 для якоїсь іншої змінної i

Твiй приклад про хорошого поганого копа мене вчора озадачив трохи, але це того, що я був сонний. (Я вже знову, але така карма, що вiдповiсти я ще вдень придумав). Ти просто додав нову ступiнь свободи, яку бiльшiсть класифiкаторiв не має, тому я i не описав її толком, довелося подумати: ти додав можливiсть експерименту. Можливiсть порiвняння статiв хорошого i поганого копа вимагає iснування гарантовано хорошого (а не iнакше упередженого) копа i, найосновнiше, можливiсть порiвняти їх дiї на такому самому iнпутi, тобто, щоби були ground truth був так само розподiлений по всьому, включно з расами. Звичайно, у вироджених випадках (один коп арештовує всiх негрiв) помiряти очевидно, але поза тим складно. Найкраща проксi: оцiнка статiв департаменту до i пiсля якоїсь змiни.

[mprotsenko]

Слухай, я таки не розумію, що ти від мене хочеш...

That's a good question, насправді. На тактичному рівні - я пропоную не приховувати суттєві деталі прикладів, які змінюють їх суть. На стратегічному - уважніше ставитися до термінології та формулювань, коли мова йдеться про чутливі теми. (Як це робити? Ну, можна робити "заміну на українця" - навіть проблема поліцейського утиску в нас була, і зараз трапляється... Якщо формулювання про українців звучить погано - то і для інших рас його треба переформулювати, ні?)




Придумав, як навіть в термінах training set показати проблему. Давай уявимо training set, де практично нема true negatives (копи фокусуються на злочинцях - це природно). В цьому сеті є ознака - раса, хай буде 90% чорних злочинців. Якщо ми натреновану на цій статистиці модель застосуємо до загальної популяції, де справжніх злочинців серед чорних менше відсотка, то яка буде ефективність цієї моделі? Отож бо! (Про тип моделі я навіть казати зараз не буду - вона буде лажати в будь-якому випадку)

Що нам треба робити, щоб удосконалити цю модель. Потрібно вводити негативний зворотний зв'язок, щоб кожен false positive змінював відносні ваги ознак, наближуючи їх до реальної картини. А де в нас в реалі цій зворотний зв'язок?

- Коп отримує догану за занадто велику кількість false positives? Хоча б поїде на ретрейнінг? Ні, про що ти.
- Коп заплатить за шкоду, яку його помилки нанесли невинним? Хоча б не напряму, а через personal liability insurance? "Индейская народная изба, фигвам называется."
- Коп отримує подяку/нагороду/підвищення за збільшення true positives? Так, звісно.

See where I am going? Бачиш проблему з моделлю?







Окремо трохи занудства щодо термінів та тез:

1) "Порівнюючи можливі сценарії, ми повинні щось фіксувати." На відміну від онлайн-сек'юріті-профайлінгу, де є обмежена, хоч і велика кількість сигналів - в реалі ми можемо бути більш гнучкими, навіть оперуючи меншою кількістю сигналів. (Гучномовець для тотальної перевірки замість профайлінгу - чудовий приклад, як не захищай небажання копів ефективно працювати. Я тут не жартую - такой простий приклад чудово ілюструє, як можна щось змінювати на краще, не витрачаючи додаткових ресурсів, та не граючись вагами окремих метрик. )

Більш того, якісна детективна робота будується не на масових матмоделях і метриках - бо найкраща матмодель визначення переможця перегонів ламається на "парадоксі зламаної ноги".

2) "коли влучність Pblack, порахована для предтавників xраса=black значимо менша, ніж Pwhite для предстаників xраса=white. Ну, або, коли влучність для "дискримінованої" раси менша, ніж для усієї демографії.

Перш за все, це коли влучність P(race) настільки мала, що використовувати її немає сенсу, бо від використання більше шуму, ніж сигналу. (Вибірковість застосування зараз залишимо за дужками - сконцентруємося лише на аспекті ймовірностей.)

Тоді замість "регулязаційного параметру", неякісну ознаку можна (і треба) просто брати інші ознаки. Які хоч і можуть корелювати з расою, але принципово відрізняються від неї. Наприклад, замість "running while black" можна використовувати ознаку "running while wearing wrong kind of attire".

[malyj_gorgan]

Я все ще не розумію.

> ... не приховувати суттєві деталі прикладів, які змінюють їх суть.
Я так і не бачу, які "приховані" деталі прикладів хоч щось поміняли в рамках тих тем, ілюстраціями до яких ті приклади були

> ...уважніше ставитися до термінології та формулювань, ...
> коли мова йдеться про чутливі теми.
??? Ми про одне і те ж саме говоримо? Кого ми чим ображали? Ти не плутаєш це з іншою дискусією?

> ... як навіть в термінах training set показати проблему...
(а) якщо неясно, про що я тут бідкався, то конкретизую: я не впевнений, що саме ти називаєш "проблемою" в контексті нашої розмови. У чому моя "проблема", я і писав уже, і ще уточню нижче.
(б) Половина того, що ти написав, ніби, ок: так, якщо в тренувальних буде більше представників одної з рас, то з великою імовірністю, модель в реалі буде їх більше ловити, я якраз про це і говорив. При цьому, воно буде так навіть у випадку, якщо расу напряму не міряти.

> практично нема true negatives (копи фокусуються на злочинцях - це природно)
Тут не зрозумів. True negative -- це людина, яку поліція "могла би перевірити (зупинити, обшукати, whatever), чи вона не злочинець" але не перевірила, і правильно. Якщо мова не про масові облави або зупинку кожної першої машини, то true negatives у нас завжди переважаюча більшість.

> ... вводити негативний зворотний зв'язок, щоб кожен false positive
> змінював відносні ваги ознак...

Все правильно, треба. Кожен-не кожен FP (не всяку модель можна і треба правити інтерактивно), але треба, звичайно. Все, проти чого я виступаю, так це щоби в рамках моделі по різному зважувати різні FP залежно від раси чи статі чи кольору волосся. "В рамках моделі" -- теж важливе уточнення: якщо можна якісь речі виправляти деінде, хоч обмежувати правоохоронну діяльність людей з explicit white supremacy agenda, хоч проводити якусь соціальну роботу, організацію, освіту серед меншин -- це все добре і потрібно, але це інша тема.

Тобто, ще раз: якщо ти хочеш мені доказати, що поліція недопрацьовує в плані надмірно легковажного ставлення до фальшивого обшуку взагалі, чи має якісь інші загально-методологічні внутрішні вади, то не треба доказувати, я вірю. Те ж саме з потенційною "гнучкістю".

> ... влучність P(race) настільки мала, що використовувати її немає сенсу ...
???
А як інакше ти можеш знати, що модель "несправедлива" залежно від раси?
Весь мій месидж тут і деінде в тому, що модель першого фільтру правоохоронної системи звинувачують у тому, що вона расово несправедлива на підставі того, як "вони" [ті, хто називає] інтерпретують статистику результатів моделі. Якщо не влучність, то яка метрика є підставою для такого звинувачення? Я не можу придумати іншої хорошої

Overall:
Ніяких претензій до звинувачень хоч поліції, хоч усієї системи у несправедливості з інших причин, крім статистики результатів, я не маю. Виключно тому і перейшов до web fraud прикладу, бо там, в силу фізичної неможливості зловмисного расизму, статистика результатів є усім, що "вони" бачать, що не заважає "їм" точно так само називати модель несправедливою.

Тобто, давай я далі дистилюю свою тему: я не маю думки і не збираюся вирішувати, чи поліції треба щось робити інакше, і як їм це робити інакше. Моя задача простіша: розібратися, звідки ми знаємо, що поліції треба щось робити інакше, і, відповідно, як ми будемо знати, коли можна буде перестати пред'являти їм претензії, що вони недостатньо пробують.

[mprotsenko]

Ти не бачиш як "погнався за не так одягненим" вс "погнався за чорним" щось змінює в темі "статистична ефективність профайлінгу по расовим та іншим ознакам"? Без підколки запитаю - це недосип? Мені розгорнути тему?


Тут не зрозумів. True negative -- це людина, яку поліція "могла би перевірити (зупинити, обшукати, whatever), чи вона не злочинець", але не перевірила, і правильно.

Саме так - і тому невинні люди в training set не потрапляють (чи їх потрапляє нерепрезентативно мало) і, як наслідок, відсутність невинних в сеті зіпсувала той сет нафіг.


???
А як інакше ти можеш знати, що модель "несправедлива" залежно від раси?

Вплив на невинних, я ж казав. Результати як false positives, які генерує система.

Але навіть у твоєму визначенні - результати як true positives - расовий профайлінг не працює. Більш, ніж не працює - він генерить результати, протилежні від тих, що нам потрібні.

Я вже колись наводив дані - обшуки знаходять частіше контрабанду (наркоту, зброю) в білих, ніж в чорних. Ось, швидко гугланув, хоча я тобі, якщо не плутаю, аналогічні дані вже наводив раніше.

https://www.fresnobee.com/news/local/article249300270.html





Тобто, виходить, що расовий профайлінг задає мало того, що задає більше шкоди невинним - так ще і МЕНШ ЕФЕКТИВНО знаходить злочинців. Цього достатньо, щоб показати, що поліції треба щось робити інакше - виходячи як і зі статистики, так і з того простого факту, що весь час та енергію, яку вони витрачають на расовий профайлінг, вони можуть витратити на пошук реальних злочинців?

А щодо претензій і їх припинення - якщо поліція припинить відмовлятися приїжджати на обшуки та на затримання хулиганів-крадіїв, то це буде вже серйозний прогрес, ггггг.



А якщо без жартів - то коли false positives rate відносно раси (які можна хоча б приблізно поміряти через exoneration rate) не буде мати расових перекосів, то можна буде казати, що копи арештовують-суди засуджують злочинців не дивлячись на расу.

Вони це вміють, до речі, коли йдеться про інші -ізми - гендерного перекосу не існує, так що умовну мізандрію копи цілком собі перемогли, ні?

[malyj_gorgan]

> Ти не бачиш як X щось змінює в темі Y?
Та бачу, бачу. Але ти не бачиш, що цей приклад був наведений на зовсім іншу тему. Двічі повторену, повторюю втретє: тема прикладу критика практики, коли хтось, чуючи лише базову інформацією "коп побіг за чорним хлопцем, а не за білою дівчиною", вважає нормальним одразу характеризувати це, як расовий профайлинг. З додатковою умовою, що навіть якщо уявити цього хтося аутичним до ступеню "якщо в умові нема інших деталей, то їх і не було в реалі", то чомусь різниця "чорний/біла" йому дає право таврувати профайлинг, а "хлопець/дівчина" такого права не дає.
Розмови про статистичну ефективність вилізли потім, паралельно, по ходу вимог вилізли і деталі. Відповідно дивуюся я, не чому це X щось міняє в Y, а всього лиш звідки взялися претензії, ніби я негарно приховував якісь ознаки в прикладах з реалу


> невинні люди в training set не потрапляють
???
"training set" -- це не лише ті, кого поліція зупинила, а "всі, кого вона потенційно могла зупинити". Називати training set'ом лише праву колонку матриці невідповідностей (confusion matrix) -- нове слово в нашому бізнесі. Нове, але невірне. Невірно, коли це робиш ти, так само невірно, коли хтось робить висновки про класифікатор чи об'єкти класифікації (наприклад, про роботу поліції або про демографію злочинців).

> Результати як false positives, які генерує система.

Повторюю запитання: false positives ... що? Абсолютна кількість FP ? Кількість FP поділена на (FP + TP) ? Кількість FP, поділена на рік народження Фішера? Ще на щось? Друге, єслішо, це і є влучність. :)

> [Статистичні дані з графіком]

Хороша картинка, цікаво, що нею хочуть доказати. Ти мені колись показував, я подивився, не приглядаючись, а зараз придивився. Маю що сказати:
Ми, звичайно, не бачимо нічого, крім раси (якщо когось лаяти за "приховування деталей", то це тих, хто на підставі цеї картинки візьметься робити хоч якийсь висновок), але з ненайфантастичнішим додатковими допущенням, що копи обшуковували усіх, хоч трохи "підозрілих", і що ефективно знаходила контрабанду у тих, у кого вона була (іншими словами, низький False Negative обшуку), то вимальовується цікава картинка: серед усіх кого поліція вирішила зупинити, шанси мати "контрабанду" були у 2.5% чорних, 1.6% білих, 1.2% латиносів, і 1.3% білих. Тобто, поки ми не додаємо ніяких інших факторів, я б це назвав pretty good judgement by the police. Ну і, з використанням емоційно забарвлених термінів, дискримінацією всіх, крім чорних.
Але повторю основне, яке вище у дужках: з серйозними намірами таких висновків робити не можна, ніяких інших теж. В другу чергу тому, що ми не знаємо інших статистичних даних, які би дали нам можливість оцінити розподіл positives в демографії водіїв взагалі. А в першу чергу тому, що ми не знаємо ніяких інших причин зупинки і/або обшуку. (Ну, наприклад, якщо поліція має policy обшуковувави усі машини, які порушують правила стосовно рівня шуму, то ясно, чому чорних обшуковують більше, але це добре і правильно, я усіма руками за максимальне переслідування boom cars усіма доступними методами. Правда, боюся, це мої райдужні мрії, а насправді погані копи просто хочуть дістати противних чорних, а хороші копи використовують якісь інші риси, але результат виходить на одно.)

> ... МєНШ єФєКТїВНО знаходить злочинців ...
Та ні, реально, якщо допустити, що всі інші розподіли між рас однакові, і що копи зупиняють за колір шкіри, то попередня картина показувала би, що расовий профайлинг чорних більш ефективно знаходить злочинців. А поки вона просто нічого не показує.

> ... false positives rate відносно раси ... через exoneration rate ...
Ти ВПЕВНЕНИЙ в терміні? Саме FPR? Це чітко визначений термін. Як ти його будеш міряти?

> ... через exoneration rate ...
exoneration rate тут настільки ні до чого, що навіть не знаю. Він, взагалі, про тих, кого уже засудили, але неправильно, а не про тих, кого зупинили/обшукали. Якщо вже говорити про нього, то це не про поліцію, а про всю судову систему взагалі, плюс, треба вписувати conviction/acquittal rates, плюс купу всього іншого.

[mprotsenko]

Але ти не бачиш, що цей приклад був наведений на зовсім іншу тему. Двічі повторену, повторюю втретє: тема прикладу критика практики, коли хтось, чуючи лише базову інформацією "коп побіг за чорним хлопцем, а не за білою дівчиною", вважає нормальним одразу характеризувати це, як расовий профайлин

Так і тут це погана гра - якщо ти не даєш комусь повної інформації, і тобі не подобається його висновки, то не давати повну інформацію - нічим не краще, ніж робити ті висновки. (Так, я розумію, що це питання не тільки до тебе, но і до преси, наприклад, але тут цій приклад все одно наводиш ти).

"training set" -- це не лише ті, кого поліція зупинила, а "всі, кого вона потенційно могла зупинити"

В ідеальному всесвіті - так. А в реальному - всі (і ти у т.р.) фокусуються на того, кого спіймали, а не на популяції взагалі. Звідти і проблема.

серед усіх кого поліція вирішила зупинити, шанси мати "контрабанду" були у 2.5% чорних, 1.6% білих, 1.2% латиносів, і 1.3% білих.

По-перше, ти тут змішуєш дві речі - зупинку та обшук, і знову концентруєшся на true positives (продовжуєш тренуватися на цій частині сету?).

А якщо дивитися на false positives, то НЕефективність обшуків - сувора реальність. 70-76% є обшуків не ефективними, тобто коп помиляється 3 рази з 4, чи 2 рази з 3. Так собі good judgement.

Тут, звісно, можна казати, що, мовляв, краще обшукати зайву невинну людину, щоб знайти злочинця. Але в щирість цій тези я повірю, коли я буду бачити регулярні блок-пости на виїзді з Burning Man, коли кожної п'ятниці спецназ ATF буде штурмувати офіси на Wall Street, і кожного, хто входить на вечірку у фрат-хауз буде обшукувати поліція.

Але відсутність цих, без сумніву, ефективних мір, пахне вже чимось гіршим чим systemic racism AKA racism by impact.

[malyj_gorgan]

>... тобі не подобається його висновки, то не давати повну інформацію - нічим не краще, ніж робити ті висновки...
(а) Я правильно розумію, що свої претензії до мене про "замовчування деталей" ти знімаєш?
(б) Щодо претензій інших, враховуючи, що повноти інформації не існує в природі, це clever exuse для зовнішнього судді: "Я мав неповну інформацію, тому допридумав до повноти, як мені заманулося, тому моє судження таке!" Для виправдальних суджень це ок, але для звинувачувальних, я думав, ти сам таке не схвалюєш. Бо я у готовності звинувачувати в таких умовах бачу як мінімум недалекість, а скорше заангажованість. А якщо врахувати що за умов однакової (недо)інформованості судження про расову і статеву компоненту виходять протилежні, то ще і непорядність.

> А в реальному - всі (і ти у т.р.) фокусуються на того, кого спіймали, а не на популяції взагалі

Які "всі" і що означає "фокусуються"? Ти мене або тролиш, або використовуєш якесь неконвенційне значення поняття "training set"

> зупинку та обшук, і знову концентруєшся на true positives

Не "змішую з моментом зупинки", а уточнюю, про що мова. Зупинені машини там -- вхідна демографія, про незупинені вони, взагалі, мовчать. Відповідно, нічого не знаючи про те, кого і чому зупиняють, ми одразу втрачаємо можливість робити далекосяжні висновки. Це ж моя основна позиція -- ніяких нормальних висновків з цих цифр самих по собі зробити не можна, в принципі.
Цифри тут всього дві: відсоток тих, хто викликав підозру (того почали обшук) і відсоток тих, для кого підозра підтвердилася (знайшли)
Без додаткових допущень, вони нічого не означають взагалі.
З двома не надто притягнутими за вуха допущеннями (одне, що якщо шукають, то знаходять, друге, що існує критерій підозрілості, за яким вирішують обшукати), висновків два. Один: у чорних під критерій підозрілості попадає більше людей, хоч "контрабанда" є у меншого їх відсотка. Другий: у чорних в середньому більше наркоти. Другий частково пояснює перший перший навіть без знання деталей, хоча без знання деталей тут ми тикаємо пальцем в небо.
Деяка "несправедливість" ситуації, що у чорних рідше знаходять була би безсумнівною, якби обшуки проводилися в результаті рівномірно випадкової вибірки, причому, була би подвійною: шукають частіше, знаходять рідше. Ніяких свідчень про те, що поліцейські кидають расово зважені кості, я не бачу, а без цього ніяких звинувачень тут робити не можна.
А вже "неефективність" тим більше не сувора реальність, а незрозуміла фраза. Мало що ефективність -- це туманний термін, треба довизначити, так ще і жодних з осмислених методів її визначати без додаткових даних просто нема, тому див. вище про палець і небо.


> ... [не бачу] блок-пости на виїзді з Burning Man і т. п. ...
Я бачу, що ти повертаєшся у своїх словах до конкретних практик поліції, які можуть бути хороші або погані, присутні або відсутні, не хочу про них гворити. Але не бачу відповіді на питання, як саме виходячи лише з демографії всього населення, і демографії затриманих і виправданих vs засуджених злочинців ти пропонуєш робити хоч якісь судження про те, чи є у нас расовий профайлинг, чи нема. Якщо лише на підставі статистики ти про це говорити не готовий, то так і скажи, я відповім, що ура, погодилися.
До речі, коли я просив уточнити, чи тебе задовільнить саме однаковий false positive rate для різних рас. Нагадую: FPR = FP / (TN + FP)

[mprotsenko]

ну і щоб подитожити в рамках приклада і закрити питання про претензії до поліції...

щоб не було перекосів по false negatives, поліція може робити дві речі:

1. тренуватися краще розрізняти злочинців від звичайних громадян (це піде на користь усім, в т.р. і білим - навіть в першу чергу білим).
2. приймати однакові міри до однакових груп ризику незалежно від кольору шкіри, матеріального становища тощо.

приклад до п.2 (перший пункт ми вже зі всіх боків обговорили) - якщо дійсно треба шукати наркотики, то кемпус Стенфорда треба саме так невибірково трусити в пошуках адеролу, маріванни та ЛСД, а уолл стріт - в пошуках кокаїну та грибів, як і гетто в Чикаго. якщо поліція цього не робить - то вона вже, виходить, хай і несвідомо, але дискримінує різні групи ризику.

[malyj_gorgan]

Я досі навіть близько не розумію, які у тебе претензії до false negatives. Чисто, математично, які. Якщо претензія, що копи Стенфорд з Уолл стрітом обходять, то це не претензія до статистики. А як якісь інші, ти так їх і не назвав.

P.S. Стосовно останнього абзацу, я, до речі, лише за, щоби рівномірно густим гребінцем прочесали усіх, від кампусу Берклі до кампусу Стенфорда, і карали за законом, включно з покараннями за наркоту. Але це я, бо проти наркотиків, а так то ти, сподіваюся, ти в курсі, що ідея, ніби опортуністичне переслідування копами наркоманів за posession є основним драйвером арештів і ув'язнень, -- не більше, ніж байка, яка не має нічого спільного з реальністю?