Про біженців та статистику
Sep. 15th, 2022 10:00 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mprotsenkoЯ безмежно вдячний усім країнам, які приймають українських біженців. Мені навіть соромно за різницю у ставленні до українців у порівнянні з, наприклад, сирійцями.
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
(no subject)
Date: 2022-09-16 08:54 pm (UTC)Так ось це, запрофайлів, спіймав та заарештував - це і є "звинуватив", ні? Міранда, звинувачення, оце все? В буквальному сенсі.
І на кожен анекдот "вгадав з профайлінгом і заарештував реального злочинця" є купа контранекдотів "не вгадав, заарештував та навіть засудив/вбив невинного".
(Тобто з таким підходом в твоєму анекдоті було б коректно робити так "бігли двоє, поліцейський спочатку придивився до чорного хлопця, побачив в нього в руках вкрадену сумочку" - і побіг арештовувати вже маючи probable cause, яка відрізняється від running while black. А "побачив чорного, зробив висновки і побіг його арештовувати по звинуваченню в крадіжці" - то це саме то і є, проти чого ти виступаєш, ні?)
(no subject)
Date: 2022-09-17 12:03 am (UTC)Вибач, треба було писати англійське слово, українське багатозначніше. "Звинуватив" as in different from "висловив підозру", тобто, Indicted. Тобто, оце все "засудив / убив" , та і, за рідкісними винятками "заарештував", це все уже далеко поза рамками, де профайлинг дозволений.
Якщо чувак не винен, то зупинився і дав поліцейському перевірити, що все ок, якщо той помилився, то поліцейський вибачився і пішов шукати наступного кандидата. Все. Єдина проблема: якщо у тебе є інші причини бути заарештованим, то заарештують, навіть якщо торбинку крав не ти. Абидна, але це не расизм.
Ти там в іншому коменті згадав "false positives". Так в роботі правоохоронних органів, на рівні перевірки, помилки першого роду не проблема. Проблема -- false negatives, неперевірені злочинці, і ще більша проблема -- false positives на рівні звинувачень / покарань. Але друге є результатом проблем з доказами, а не пройфалинга.
> ...поліцейський спочатку придивився ...
Я бачив затримання на бігу двічі, раз тут, раз у Львові. Обидва рази все виглядало так, що фрази "придивився" і "розгледів сумочку" звучать як знущання над слухачем. Правильніше буде: краєм ока побачив фігуру і ломанувся за нею, розгледівши мінімум, усвідомивши ще менше. Дивно, ти, за твоїми ж розповідями, мав у житті набагато більше пригод, але якось твої уявні сценарії ну дуже сильно відрізняються від мого обмеженого досвіду: то копи зусиллям волі на відстані відвертають увагу батьків від шумних тодлерів, то на ще більшій відстані за долі секунди сканують інвентар бігунів... Куди там нашій берклійській поліції до луганської :))
(no subject)
Date: 2022-09-17 12:27 am (UTC)О, гучномовець (та і просто оклик) в нас якимось дивом перетворився на магічне зусилля волі... тобто ти вважаєш, що в такі високі технології копи не вміють? окей, окей... :))))
Якщо таких саме злочинців, але іншого кольору - не заарештовують/арештовують значно менше, то по імпакту це таки расизм. (або якщо іншої статі - то сексизм, який теж може існувати!)
По-перше, робота правоохоронних органів і їх помилки не закінчуються на рівні перевірки ("пробачте, в нас питаннячко. дякую, доброго дня!"). В роботі правоохоронних органів є такі речі як обшуки та арешти. І помилки там бувають типу "копи вбили невинну людину", "копи затримали невинну людину", "копи побили невинну людину та відпустили". Жодна з цих проблем не закінчується "звинуваченням" чи "покаранням" (з точки зору verdict/sentence).
Але навіть "завернули невинному ласти" - це зло. Фізичне насильство, як воно є.
Можна ще сперечатися, що це зло необхідне - і в деяких випадках я навіть можу погодитися. (Я ж нібито прямо казав про те, що в ситуації коли за долю секунди треба вирішити за кім бігти - профайлінгу важко уникнути.) Але вважати, що це добро в тих випадках, в яких можна зробити інакше - неправильно.
Я повторю питання - що ти скажеш про систему, яка має статистично помітну різницю між несправедливими арештами-засудженнями-вироками по кольору шкіри-статті-тощо? Її можна називати расистською? (сексистською і тепе?) Чи ці помилки припустимі і не можна казати про -ізми в таких випадках?
P.S. Я розумію, що якщо такі "помилки першого роду" тебе особисто не торкаються - то можна і не дивитися на них, зробити вигляд, що їх нема - але ж це саме та проблема, про яку я писав. (насрати на статистику, на вивчення питання - це все цікаво, але головне це анекдоти. І який сенс тоді в дискусії?)
(no subject)
Date: 2022-09-17 02:56 am (UTC)> несправедливими арештами-засудженнями-вироками по кольору шкіри-статті-тощо?
Названого недостатньо, щоби щось сказати. Для початку, залежить, як визначати. Природнє визначення, імхо, що справедлива система з однакою імовірністю розпізнає невинного, який попав під підозру. Але навіть у такій системі можна відтворити вищенаведену статистику, за рахунок різної частоти підозріваності.
Реальний приклад: донедавна я цим і займався, не злочинцвв ловив, а визначав цифрових шахраїв. Один наш клієнт, банк, після пілоту відмовився від наших послуг. Сказав, що фродстерів ми ловимо кльово, але в результаті виходить, що людям з historically underbanked minorities частіше відмовляють, ніж багатим білим. Банк пішов працювати з конкурентами, які обіцяли equitable алгоритми... Але через рік вернувся до нас, бо equitable алгоритми пропускали забагато шахраїв, і банк втрачав гроші (або доводилося задирати порогові значення моделі так, що відмов було більше і у minorities, і у majorities.
(no subject)
Date: 2022-09-17 05:24 am (UTC)По-перше, з точки зору імпакту - це таки расизм. Ти можеш не погоджуватися з таким визначенням расизму, але біситися від того, що хтось має визначення, які відрізняються від твоїх - ну, таке...
А по-друге, це тупо "дилема вагонетки", slippery slope...
(no subject)
Date: 2022-09-17 06:48 am (UTC)Не "нам окей", а "всім окей". Принаймні всім ок, поки Х = "чоловіки", або Х = "молодь". Далі, що я кажу, це що боротьба з дикримінацією Х повинна ставатися не через відміну профайлінга, а за рахунок досягнення максимальної точності і справедливості при встановленні вини підозрюваних. А проста арифметика каже, що навіть за умови досягнення вищезазначеної точності і справедливості, поки вона не асболютна, обов'язково будуть такі групи Х, серед яких виявиться більше несправедливо заарештованих, ніж серед якихось Y ≠ Х, поки основною задачею правоохоронної системи є правоохорона, зокрема розкриття злочинів, a.k.a., максимізація true positives. Навіть без пройфалинга. Звичайно, оскільки невинно засудити -- це теж злочин, то шукають методи щось виправляти, тобто завжди вибирають якусь точку на ROC curve... Але я наполягаю, що у твоєму визначенні через impact єдиною гарантованою расово справедливою системою буде така, де затримувати злочинців будуть за расовими квотами, а якщо місячну квоту на чорних і білих уже вибрали, то хай китайці з латиносами начуваються.
> ... біситися від того, що хтось має визначення, які відрізняються ...
Перепрошую, але конкретно "бісить" я казав виключно про підхід, коли расизм -- так, а сексизм або ейджизм -- ні, що ви
(no subject)
Date: 2022-09-17 07:36 am (UTC)Це може бути зло, якому не можна запобігти (хоча в реалі, звісно можна, хоча б трохи, як би там не викручуватися на тему "копи не вміють окликнути людину на іншому боці вулиці/користуватися гучномовцем".) Але це все одно зло - і ми, як представники певної групи - його бенефіціари.
І робити вигляд, що це не зло або що ми (як представники певної групи) не бенефіціари - це перший крок в дуже поганому напрямку, як на мене. Я розумію погляд "так, це зло, але запобігти в цілому не можна, але можна намагатися робити хоча б щось". Він чесний. Я розумію погляд "так, це зло, але мені начхати - я вважаю нормою це зло". З цією людиною мені не по дорозі, але це теж чесно.
А ось позиція "це не зло/не расизм по імпакту" - це спроба активно не звертати увагі. Meh.
Очевидно, що ні, бо в такий системі зовсім не факт, що не будуть хватати невинних. (Собсна, так вже і роблять - був шкандаль, коли в НЙС копам казали прямим текстом - затримуйте менше азійських бабусь, не шукайте неприємностей.)
Єдина система, де ми можемо хоча б асимптотично наблизитися до справедливості та трохи позбутися "расизму по імпакту" - це та, де хватають вбивць по ознакам, які притаманні саме вбивцям (а не по ознакам, які притаманні групі, яка має аж вбивць аж менше відсотка).
І ти сам про це пишеш "досягнення максимальної точності і справедливості при встановленні вини підозрюваних". Але профайлінг цілої групи,
* де реальних злочинців дуже мало, хай 1% (і це я дуже щедрий - скільки молодих чорних парней грабують бабусь? скільки їх взагалі існує? отож бо!)
* де є статистично значима кількість false positives
дасть нам захмарну кількість тих false positives, просто тому що Баєса не надуриш. Тобто це протилежність "максимальній точності та справедливості".
Так що там, де профайлінга можна позбутися - його треба позбуватися, як мінімум, тоді, коли мова, йде про групи, де в цілому злочинців - статистично незначна кількість. Бо Баєс, сцк.
А тут в тебе помилка - основною задачею правоохоронної системи є створення безпеки, тобто, МІНІМІЗАЦІЯ злочинів. Якщо в нас сьогодні 100500 вбивств, з яких розкрили 100499, а завтра знову їх 100500 - то по твоєму визначенню правоохоронна система рулить, а в реалі вона позорно зафейліла. Розкриття злочинів - це тільки один інструмент для досягнення цієї мети.
(no subject)
Date: 2022-09-18 07:21 am (UTC)А все тому, що ми говоримо про речі дотичні, але дуже різні.
Справа в тому, що я майже з усім, що ти пишеш, згоден, з точністю до епітетів. Що правоохоронна система повиннамінімізувати злочини (я того і писав, що "зокрема ", але, видно, цього було недостатньо), що в реалі поліція багато чим зловживає, що когось реальна система вражає більше, а когось менше, ще купа всяких несправедливостей.... Але це все не грає ролі для того, що я хочу сказати про профайлинг Моя тема інша і більш компаткна: це тема методологічної доречності/необхідності профайлінга взагалі і математично зумовлених його наслідків. . Але оскільки ти цю тематику сприймаєш близько до серця, то одразу перейшов у режим боротьби з расизмом з боку поліції, і кожен аспект розглядаєш саме з цеї точки зору. Тому, думаю, у парі прикладів, яку я навів, ти першим ділом шукаєш "а чого це коп не міг інакше", хоч там вихідний посил прикладу був, що не міг. For all practical purpoces, можеш вважати, що обидва приклади я придумав як ілюстрації, де дано, що поліцейському доводиться вибирати, кого запідозрити першим -- ситуації достатньо реалістичні, щоби не бути малореальними абстракціями типу проблеми вагонетки. (Насправді, ситуації, справді, реальні, але не бачу, як нам уникнути спроб колупатися в зайвих деталях.) Ну і так з усім іншим... Ти не подумай, я тебе не звинувачую в навмисній нечесності чи спробі спотворити дискусію, а лише діагностую, що у нас стається. Я впевнений, говорячи на теми, настільки ж глибоко важливі для мене, я роблю точно те ж саме. Напевне, просто не треба було зачіпати тему расизму, моя кульпа. Тому я оце і пробував з'їхати на менш гострі приклади, як то web security... не вийшло :) Я якось напишу на цю тему окремий пост, так буде, може, краще. А тут я можу лише ще раз переформулювати свою думку без залучання поліції і расизму:
Всяка ціннісно-заряджена (тобто, карає або нагороджує) бінарна класифікація (а) без прямого доступу до таргет метрики, (б) з обмеженими ресурсами і (в) з неоднорідною за додатковими параметрами популяцією класифікованих об'єктів неодмінно виявиться "несправедливою", тобто, для деяких параметрично-зумовлених підмножин імовірність покарання/нагороди буде вища, ніж для інших. Можна пробувати усунути цей дисбаланс через ускладнення objective function (ukr?) класифікатора, а.к.а. регуляризацію, але такі спроби ведуть до погіршення первинних performance metrics, все одно не позбавляться несправеливості, хай для інших субпопуляцій, а ще зворотній зв'язок такого типу дестабілізує класифікаційну систему в цілому.
Розшифровую: (а) означає, що ми не можемо наперед точно виміряти основну цільову метрику (шахрай/ні в web security, віддасть/ні іпотеку в банкінгу); (б) означає потенційну можливість дискримінації, наприклад кандидатів на покарання/нагороду розглядають по черзі; (в) означає, що між observable параметрами і кінцевою класифікацією є ненульові кореляції (більше шахраїв серед рудих, лисі рідше дефолтають). Результат же означає, що з великою імовірністю рудих будуть частіше несправедливо звинувачувати в шахрайстві, а лисим невиправдано частіше давати позики; а спроби не допустити такого дисбалансу приведуть до збільшення загальної кількості шахраїв, росту іпотечних ставок для всіх, і дискримінації бльондинів і велосипедистів як антишахрайським сервісом, так і банками. А через рік проблеми рудих повернуться, хоча проблеми велосипедистів не зникнуть.
Все. Єдиний висновок, який я пропоную з цього зробити, це що сам факт наявності несправеливого outcome'а не може бути доказом джинджерофобії, пеладофілії, чи злих намірів кого завгодно, тому правити класифікатор, підганяючи його під бажану статистику за другорядними параметрами, не можна.
(no subject)
Date: 2022-09-18 06:22 pm (UTC)1) перший проілюстрував, що профайліти по профільним параметрам (wrong kind of jogging attire) доречніше ніж по непрофільним (колір шкіри). Якщо ж брати уявний випадок - біжить біла дівчина в mismatching attire та біжить чорних хлопець в бігових шортах - то, виходить, профайліти треба дівчину, так? Тупо з точки зору ефективності? (І тоді прибирання з реального прикладу профільних ознак - це погана гра?)
2) твой інший приклад продемонстрував, як профайлінг може бути неефективним, як мінімум в випадках, коли можна без нього. (Як не крутись на тему "копи не вміють користуватися гучномовцем", але ж вони вміють, і гучномовці в них такі, що і від тодлерів увагу відвернуть. :))) )
А що до математичних наслідків - що там нам каже чортів байєс з точки зору профайлінга групи з 1% реальних злочинців та, припустимо, 2% false positives? (і це я підозрюю, роблю оцінку злочинців занадто високою, а false positives - занадто низкою, якщо казати не тільки про вироки, але і про обшуки-арешти.) Ото ж бо!
Більш того, "профайліти менше/більше -> мати більше/менше злочинів" - це ХИБНА ДИХОТОМІЯ. Бо крім профайлінгу - в копів є багато інших інструментів. І деяким з них профайлінг навіть заважає.
(Звісно, дільничий навіть під страхом тортур не вимовить слова "локальний оптімум", і частиною думок він не буде ділитися з інформантом - але загальна ідея спілкування копа та місцевого мешканця буде саме така. І да, так працювати вміли навіть копи в Луганську, яки до війни були - без жартів - набагато ефективнішими за їх окландських колег, бо злочинність впала з "розбірки з використанням гранатометів" до "звичайне індустріальне місто, неідеальне, але і вночі вийти в магазин можна без страху").
Фігня тут в тому, що якщо копи займаються неефективним масовим профайлінгом по кольору шкіри, то вони не займаються агентурною роботою (і більш того, підривають довіру потенційних інформантів - бо як мені довіряти копам, якщо вони мене регулярно торблять, принижують, і навіть в околотці протримали декілька годин ні за що, а сусіда взагалі вбили execution style?).
Про неможливість робити висновок що до намірів - я ПОВНІСТЮ ЗГОДЕН. Я ж навіть написав про це давно вже. Це, взагалі, реальная проблема - погані наміри Івана Дем'янюка ти НІКОЛИ не зможеш довести, хиба що він почне кричати щось про поганих євреїв.
А ось інша частина сформульована дуже не айс. Засудження невинних - це другорядний параметр? Ой-ой-ой, друже, ти зараз в групі ризику... Це вже дійсно дуже схоже на поганий intent - ну, засудили, арештували чи повбивали там трохи тих, з рудим волоссям, таке, другорядна справа, я ж не джиндер. Не хочеш переформулювати?
Що до боротьби з расизмом в поліції, то, як не дивно - я не про зовсім (і не тільки про) це. Я про неефективність широкого профайлінгу (наприклад, по кольору шкіри) з точки зору статистики. Бо кожного разу, коли в результаті профайлінгу ми витрачаємо ресурси на false positive - ми могли би їх витрачати на отримання true positive. І це потрібно робити, хоча б для того, щоб зменшувати злочинність.
І тут web security погана аналогія - кількість сигналів, якими ти можеш оперувати, там обмежена, прямого доступу до таргет метріки, чи хоча б до додаткових метрик з сильною кореляцію в тебе нема. Краща аналогія - це медицина. При ризику пухлини в 1% та статистично значному рівні false positives, ніхто з лікарів не призначає full-body MRI та exploratory surgery - бо шкода для 99% занадто висока і ресурсі обмежені (як вони обмежені і в копів).
(no subject)
Date: 2022-09-18 07:46 pm (UTC)> ... неефективність широкого профайлінгу ... за кольором шкіри
Відносна ефективність і потрібна ширина залежать від кожного конкретного випадку профайлингу, але в цілому, звичайно згоден.
> Засудження невинних - це другорядний параметр?
?!? Де ти таке прочитав? Я такого не писав... Другорядний параметр -- це колір або наявність волосся. Всякий класифікатор, звчайно, намагається зменшити false positives, знаходячи оптимальний баланс між FP і FN. Що погано, це вставляти в алгоритм вимогу, щоби класифікатор мав однаковий false positive rate або, там, precision, для різних субпопуляцій за цими другорядними параметрами.
> Краща аналогія - це медицина.
Тrust me, хороша аналогія. Я працював з сайтами, де ціна false positive'а була в рази вища, ніж false negative'а. Наприклад, видача автостраховки онлайн сервісами. Хоча, звичайно, якщо прирівнювати черговість перевірки підозрюваонго до арешту і 10 років тюрми, то так... Та і просто за фактом: наші і аналогічні алгоритми звинувачували в такому ж злобному расовому профайлингу, як і поліцію.
> ... погані наміри Івана Дем'янюка ти НІКОЛИ не зможеш довести, ...
Якраз це ні разу не обов'язково. Я кажу інше: якщо дивитися не на наміри, а лише на статистику результатів, то абсолютно "справедливий" класифікатор можливий лише для виродженого результату: не блокувати або не видавати іпотеку нікому. Ну і чим невиродженіші результати, тим більшу несправедливість там можна знайти.
(no subject)
Date: 2022-09-18 09:29 pm (UTC)Я пишу про зменшення false positives - у тому рахунку серед груп, які профайлять.
Ти пишеш про "підганяти статистику за другорядними параметрами".
Дякую, що прояснив, бо бачиш, як легко щось не так прочитати/написати. (тобто бачиш, як я неправильно прочитав та дістався такого висновку - за що прими мої вибачення!)?
Можна подумати, що мій особистий приклад "завернули ласти та потягли в околоток" - зустрічав розуміння в мене, чи в будь-яко з інших false positive в аналогічних випадках? Чи будь який інший профайлінг за межами "підійшли і ввічливо запитали"?
Що важливіше - знайти розуміння, чи знайти дівчину, що може бути вкраденою? Це якщо перше - то це як раз суперечить ідеї "профайлінг дозволяє досягти результатів", бо ми його використовуємо, щоб не добитися максимально ефективних результатів, а "знайти порозуміння".
Навіть просто обшук/арешт - це не котик лапкою доторкнувся, це "не черговість перевірки". Але ці арешти-черговість в комбінації з false positives в решті системи - приводять до цілком помітного racism by impact (і не приводять до сексизму, що цікаво - це хоч і в першому приближенні статистика, але дуже цікаво, ні?).
А ось це зовсім не факт. Так, абсолюту досягти неможливо - але що заважає спробувати асимптотично наблизитися до нього?
Особливо в світі того, що знизити злочинність та incarceration rate одночасно - цілком реально (купа прикладів є в світі), а зниження incarceration rate (і заодно арештів/обшуків тощо) - веде до зниження кількості false positives (тупо by definition)? (А зниження злочинності парадоксально веде до зменшення кількості true positives, хехехе!)
(Зверни увагу, що я як раз апелюю до баєса та існуючої статистики, а не до анекдотів!)
Ні, аналогія погана - бо на відміну від копів та лікарів - fraud detection працює з обмеженою кількістю сигналів, і не може шукати додаткові сигнали on case by case basis - тому що їх просто нема де отримати. (Ціна отримання сигналу перевищує вартість послуги fraud detection.)
Більш того, аналогія погана тим, що fraud detection - це zero sum game. А правоохорона і охорона здоров'я - ні.
(no subject)
Date: 2022-09-19 06:52 am (UTC)Та ні, хороша :) За визначенням: я ж ліпше за інших знаю, до чого саме це аналогія :) А вона про речі, які повністю попадають в область перетину множин ознак полісінга в веб полісінга. Відмінності там теж є, хай я не погоджуся з з нульовосумністю чи аж настільки вищою обмеженістю сигналів останнього, але погоджуся, що різниця цих множин теж дуже ненульова.
Але, в цілому, я не можу позбутися відчуття, що ти сприймаєш всяке моє твердження через внутрішній діалог: "Те, що він каже, допомагає боротьбі з расизмом? - Ні. Значить, щось зі сказаним не так, зараз пошукаємо." (Я не стверджую, що ти так думаєш: це саме відчуття) Тому і намагаюся весь час посунутися в область, де ми менше зациклені на моральних оцінках результату, бо поки людина думає про мораль, вона не може нормально розглядати методологічну частину. Для будь якої моралі, хоч християнської, хоч комуністичної, хоч якатамунасзаразнаймодніша: принципи біології однаково вірні незалежно від того, чи вони конфліктують з Біблією, творами Леніна, чи поглядами лідера тіктоківських інфлюенсерів. Так само і тут.
З максими "всякий класифікатор [blah-blah-blah деталі] буде по відношенню до когось несправеливий, а спроба закодувати усунення несправедливостей в алгоритм класифікатора скорше псує речі, ніж поправляє" випливає дуже мало. І це мало я уже сказав. Все інше -- це хибні екстраполяції або не менш хибні інтерпретації. Зокрема, це не означає, що "нема расизму". Не означає, що всякий класифікатор хороший: ні, все можна покращити, але не всяким способом. Не означає, що весь профайлинг в реалі виправданий: ні, є купа проблем, але сам факт "несправедливого" outcome'у цього не доказує. Не означає, що не можна одночасно зменшити кількість арештів і злочинів: можна, включно з покращенням того, як поліція вирішає, кого запідозрити, але в першу чергу всякими іншими методами.
Взагалі, я думав, ти про останнє сам заговориш: це ж популярна (і вірна) думка в лівих і центристських кругах, що effective crime reduction happens not through the change in policing but by attacking the root cause of crime. В web security: ми в принципі не можемо бачити расу... ан, бач, все одно профайлимо негрів і гіспаніків, аж гай шумить. Адекванта поліція профайлить не за расою, а за сукупністю ознак..., але виявляється, що у них з расою сильна кореляція. Поки таке стається, розрізнити адекватну поліцію і зловмисних копів расистів на підставі лише статистики результатів неможливо. Зате базовий підхід до виправлення такої "ненавмисне несправедливої" статистики досить очевидний: замість понижувати планку класифікатора, руйнувати оті кореляції. Case study: web bank account appliction, де ми "дискрімінували" historically underbanked minority communities. Серед пари сотень сигналів-features в нашому алгоритмі найзначущіші за predictive value були сигнали, зав'язані на історію девайса/мережі. Без цих компонент, наш алгоритм був втричі менш чутливим, але, з іншого боку, саме ці риси були головними драйверами "дискримінації". З очевидних причин: в бідніших родинах частіше багто людей користуються одним компом чи планшетом, засмічуючи історію девайса; частіше не захищають нормально компи поки лазять лівими сайтами, ловлячись на malware botnet'и; ще пару зв'язаних з класом або освітою моментів. Можна боротися з цим, заставляючи банк відключити або бастардизувати шахрай-детектор, але від того гірше всім. А краще стане, якщо давати жителям бідніших кварталів додаткові девайси, напрокат або назавжди, проводити курси з комп'ютерної грамотності, роздавати безкоштовні антивіруси.. Другий підхід ефективніший і, на загал, дешевший, але він -- не про
policingкласифікатор. Але це вже я відійшов від теми, хоч і обіцяв собі не, тема закінчилася в попередньому абзаці.> Що важливіше - знайти розуміння, чи знайти дівчину, що може бути вкраденою?
Просто зауважу: цей аргумент прекрасно захистить купу дрібних поліцейських зловживань, які ти так критикуєш. Правильна ж відповідь на задане питання: важливіше прореагувати на ситуацію адекватно до комбінації можливих ризиків.
(no subject)
Date: 2022-09-19 03:16 pm (UTC)Приклади:
- "коп профайліть бігуна по кольору шкіри, а чорт, ні, коп профайліть по купі ознак" (ховати суттеві ознаки в реал-лайф прикладі - bad form, негарно, некрасиво).
- "засуджувати невинних - це злочин" (лолшто? чувак реально мене троллить чи пише з країни рожевих поні?)
- "копи не можуть використати гучномовці"
і так далі, і так далі.
Камон, бро. Ось ситуація - вкрали сумочку. Якщо потенційний вкрадач втече - то зайвої шкоди для пограбованої бабусі не буде. Додаткових ризиків в конкретній ситуації для конкретної жертви нема. Ось ситуація - пропала дитина. Якщо потенційний кіднепер втече - він може згвалтувати чи вбити дитину. Яка ситуація потребує більш інтенсивного втручання? А ти кажеш, гучномовець не можна увімкнути...
А ось це неправда. Можна дивитися на false positives. Якщо гарний коп арештовує виключно чорних злочинців, а невинних не чіпає, а поганий коп арештовує виключно чорних - вони оба намагаються максимізувати true positives (і другий може навіть бути більш ефективним, бо він витрачає менше часу на те, щоб відділити агнців від козлищ). Але різниця в false positives в них буде сувора.
(і ти з цим ніби то погодився, але повертаєшся до цього "не можна, не можна", що і викликає в мене питання з першого абзацу цього коментаря)
Більш того, казати, що позбутися зайвих false positives в питаннях -ізмів in good faith не можна. Позбулися ж сексизму в першому приближенні (рівень exoneration жінок приблизно рівний рівню incarceration, ~10% - на відміну від чорних, де ці рівні 52% та 38% відповідно).
(no subject)
Date: 2022-09-20 06:26 am (UTC)> прояснити "дискусія ведеться в bad faith чи людина дійсно не розуміється?"
От у мене таке ж враження, якщо під "bad faith" розуміти дискусію, коли замість готовності сприймати чужі аргументи і поправляти свою позицію, опонент відбивається всякими хитрими способами, базованими на логічних хибах. Хач і неспеціально. Якби ми вирішували тему "чи є расизм в поліцейських практиках (зокрема, профайлингу) США", то bad faith з мого боку був би очевидний. Але не якби. Показую:
> "коп профайліть бігуна по кольору шкіри, а чорт, ні, ...- bad form, негарно,""
Цитую оригінал: "...поліцейський знає, що штовхнули на землю стареньку жінку, забрали гаманця і тікають. Хто штовхнув -- не знає, але коли бачить, як одною і тою ж вулицею біжить чорний хлопець і біла дівчина, зупиняє перевірити хлопця. ... Мені не одна людина доказувала, що сам факт, що, не маючи точної інформації, хто грабіжник, поліцейський чинив саме так, свідчить про расизм поліцейських. А про сексизм не свідчить. " По-перше, "коп профайлить за кольором шкіри" - це екстраполяція. По-друге, про що приклад? Про те, як на описану ситуацію реагуює мій риторичний опонент а.к.а. "не одна людина", Цей опонент, як і ти, не знає, що саме на той час було в голові нашого копа (чи він зреагував на манеру бігти, одяг, стать, розмір чи колір шкіри, чи були тоді в Берклі reported подібні злочини), але вважає за можливе зробити однозначний висновок, що "коп расист, ... але не сексист". І на цю готовність публіки робити такі категоричні але непослідовні я скаржуся. Ну яка різниця, які там були ще деталі, для розмови про тих, хто цих деталей не знає? .... Ти бачиш, чому мені те, що ти робиш, виглядає як чистий hair-splitting? Відчасти, це моя вина, що почав відповідати, а не одразу наполіг на нерелевантності, але про це я вже бідкався. При цьому, я розумію, чому ти кажеш про bad faith враження зі свого боку: якби ми вирішували, чи расистським, чи ні, був конкретний вчинок конкретного копа, то мій підхід був би очевидно нечесним, такою собі комбінацією kettle logic і moving the goals.
> "копи не можуть використати гучномовці"
теж нерелевантно. Воно, звичайно, смішно, коли схематично розказану байку слухач заповнює уявними деталями і краще за автора знає, як там все було насправді, але нехай. Зважаючи на те, що це було поясненням думки "мене профайлили, але я на це не ображаюся", давай спростимо так: навіть, якщо коп вчинив непрофесійно і неоптимально, запрофайливши мене, замість одночасно опитати усіх людей з дітьми, але я все одно не ображаюся.
> "засуджувати невинних - це злочин" (лолшто?
ОК, тут я не відреагував: я уже переключився в режим розмови про класифікатора, і від ліні замість "небажаний outcome" написав, що простіше, з точки зору поняття ROC curve воно все одно. Каюся, назвати false positive саме "злочином", якщо за нього не переслідують кримінально, а лише премію недодатють, чи що, insensitive of me, я можу собі це позволити, бо у мене ризик бути несправедливо засудженим без порівняння нижчий.
> Якщо потенційний вкрадач втече - то зайвої шкоди для пограбованої бабусі не буде.
> Додаткових ризиків в конкретній ситуації для конкретної жертви нема. Ось ситуація -
> пропала дитина. Якщо потенційний кіднепер втече - він може згвалтувати чи вбити дитину ...
(a) Цікаво, що, обурюючись "приховуванням" нерелевантної інформації про грабіжника, ти проігнорував релевантну інфу, що злодій штовхнув старшу жінку на землю. Признаюся, що я тут особа упереджена: 20 років тому в аналогічному сценарії сильно постраждала моя мама, наслідки TBI так і до кінця не пройшли, психотравма теж. Того дле мене між "штовхнути додолу" бабусю і "вдарити ножем" різниця є лише кількісна, але не якісна. Але і без моїх упереджень, на фоні сумної періодичності новин про те, як чорні підлітки штовхають і б'ють, грабуючи, старших жінок, я би не применшував мотивацію впіймати злочинця, який не лише вкрав, а і здійснив physical assault of a senior.
(b) Основне тут, звичайно, -- (не)релевантність, але цікаво погратися в імовірності З урахуванням, що для невеликих відрізків часу "пропала" дитина практично завжди означає, що вона поряд подружкою/сусідкою, не сказавши мамі, або заховалася і плаче чи злиться, або, дуже рідко, загубилася чи забилася. Шанси що це був кіднеппінг надзвичайно малі. Далі можна брати різні значення цих мікроскопічних шансів, множити шанси зловити при різних ходах копа, і дивитися результат. У мене є обгрунтована підозра, що вищим буде шанс, що перший попавший чорний підліток на оклендській вулиці є злочинцем і прямо зараз робить або має при собі щось нелегальне. Тобто, я майже впевнений, що це так, і що саме звідси ростуть ноги реально проблемного профайлингу у виконанні місцевих копів: занадто легко набирати гарну статистику впійманих злочинців, просто шмонаючи на вулиці усіх, хто не пройшов примітивний фейсконтроль.
Весь комент вище, це було зауваження "на тему регламенту", нічого релеватнтного до того, що я пробував доказати, тут нема. Релевантне у тебе в останньому абзаці, відповім окремо
(no subject)
Date: 2022-09-20 06:28 am (UTC)>> расистів на підставі лише статистики результатів неможливо...
> А ось це неправда. Можна дивитися на false positives.
You got a point. "неможливо розрізнити" це з розшифровка формальної тези, в такій спрощеній формі воно, справді, дискутабельно. Тобто, чисто формально, доказати все одно не можна -- різниця в кілкості false positivies рудих vs лисих між двома поліцейськими щось покаже лише тоді, якщо вони будуть мати однаковий за кольором волосся і злочинами розподіл потенційних підозрюваних. Але буде сильним статистичним аргументом. Захищати я готовий чисто статистичний аргумент. Хотів його оце написати, але бачу ще комент. Зараз постну ці відповіді (дві години писав, з перервами на серйозні розмови і читання казок дітям) і закінчу там.
(no subject)
Date: 2022-09-20 03:21 pm (UTC)Ні, я її не проігнорував. Це ніяк не змінює того факта, що шкода для жертви ВЖЕ задана, ВЖЕ трапилася, на відміну від потенційної шкоди для жертви при кіднепінгу. Розумію, це звучить цинічно, пробач за відсутність коментаря на цю тему - але ж ми тут про статистику і ймовірності, а не про анекдоти?
Ось тут не згоден - бо коло "потенційних підозрюваних" це невизначена множина. Для гарного копа коло потенційних підозрюваних це "підозрювані, дані про яких отримані від інформантів, або на яких вказують докази". Для поганого копа це "усі чорні підлітки". Це навіть коли вони працюють в одному районі, де злочини та злочинці те ж самі!
Тому замість кола "потенційні підозрювані" має сенс дивитися на коло "реальні злочинці" і на false positives при їх виявлені.
Хе, якщо так подумати, КОЖЕН є злочинцем. Я знаю, за що можна посадити мене. Я знаю, за що можна - без жартів - посадити тебе!
Більш того, якщо нас саджати ліньки, бо просто шмону недостатньо - то щось нелегальне можна з не меншою ймовірністю знайти, просто шмонаючи усіх в черговому стенфордському фратхаузі чи на в'їзді на Бьорнін мен.
І той факт, що копи не поспішають наводити ТАМ шмон - може бути аргументом не тільки за racism by impact, до intent-у теж питання виникають. :) Але це вже лірика.
Повертаючись до ймовірності кіднепінгу - це правда. Більш того, навіть коли мова йде про реальний кіднепінг, то злочинець частіше за все - хтось з родини.
АЛЕ це аж ніяк не змінює картину, що кіднеперів ловити треба, тому що ризик додаткової шкоди є. І ніяк не змінює того факту, що відмова від профайлінгу там де можна (те саме використання гучномовця) - суттево підвищує шанси їх піймати при незмінних витратах.
Тобто коп який в такий ситуації профайлить, коли може не профайлити - все одно лінива падла, яка неефективно витрачає МОЇ гроші як платника податків, і створює додаткові ризики для жертв як мінімум там, де їх можна не створювати.
(no subject)
Date: 2022-09-20 04:58 am (UTC)І раз ми пішли в оффтоп, то я не можу не пригадати, як таку проблему вирішували українські банки. Як сам розумієш, в плані фрода Україна нульових - те ще місце.
Але це зараз всюди МЛ - і коли в тебе в руках молоток, все інше здається схожим на цвяхи. А тоді таких фенсі слів там банки не чули - тому проблему з фродом вирішували просто, по пролетарські.
При розрахунках в онлайні - в хід йшло все що завгодно, від копійчаних OTP-токенів до ще тупішого підтвердження транзакцій через банк, аж до необхідності банк попереджати заздалегідь. Зараз деякі американські банки починають підтягуватися - починають робити двофакторну аутентифікацію для підтвердження ризикових транзакцій. Ну, таке, кращі пізніше, ніж ніколи, але все одно - вчорашній день...
А в офлайні все було ще простіше: ПІН-код, без в якого реалі не розрахуєшся, і ніякого тобі фроду. :) А американські банки сами собі вигадали проблеми, тримаючись руками та ногами за застарілі PIN-less картки. І самі героїчно їх вирішують - замість того, щоб перейти до більш безпечної системи з меншим рівнем дискримінації та більшим рівнем безпеки.
(no subject)
Date: 2022-09-20 05:35 am (UTC)А тут ще додам - я ж про це саме! Саме за допомогою байеса, а не анекдотів я показав, що профайлінг НЕДОРЕЧНИЙ та НЕЕФЕКТИВНИЙ в ситуації, коли йдеться про групи з дуже малою кількістю true positives.
Це головна теза в цьому офтопі - все інше, це реакція як раз на проблемні аргументи ("в інтернеті хтось неправий"), які як раз зводяться до анекдотів про копів, які профайлять чи то по шкірі, чи то по attire та не вміють користуватися гучномовцями. :) Я ж на це і звертаю увагу - що люди думають про імідж, нарратив, анекдоти - а в статистику чомусь не хочуть.
(no subject)
Date: 2022-09-20 08:27 am (UTC)Фрод ми, бачу, спостерігали різний, в смислі, різні юзкейси. bank payment fraud -- це досить вузька тема, якраз цим я не займався. Говорив з парою людей, які писали і тренували рендом форести для Візи, це дуже езотерична область. (Не люблю їх, один мене на роботу не взяв колись, а другий, досить близький знайомий, хоч і розумний IIT-alumni, але аморальна ватна жаба.) Я говорю про web fraud з точки зору стороннього "поліцейського", який не банк, а просто сидить на мережі і знає лише те, що видно в логах http транзакцій і в браузері мінус чисто персональне інфо типу імені, ссн, номера карточки, таке. Зокрема, у нас була (на відміну від стандартних варіантів з кредиткою) дуже велика кількість доступних змінних, обмежена лише ціною їх збору і імплементації. Кілька сотень -- лише найпростіші, реально було мати тисячу... Але в продакшені використовувати більше сотні було невигідно. Але то таке.
> хороший коп арештовує виключно чорних злочинців, а невинних не чіпає, а поганий коп арештовує виключно чорних (всіх)
Чого б цьому другому не заарештовувати ще і всіх білих: у нас же злочинці ще і білі є, тоді він зловить взагалі всіх і буде нам щастя. Не сприйми це як викручування, я не чекав, що треба уточняти очевидні мені умови, що, порівати методи за одними параметрами можна лише, зафіксувавши інші. Хоча, що у нас небезмежні ресурси я постулював, так що тут все просто: кожен арешт коштує грошей, тому, раз обидва можуть заарештувати всіх злочинців, твій хороший коп виявиться дешевшим, поганого ніхто не буде тримати.
Але якось пізно, пора йти спати, тому спочатку уточню терміни, потім нагадаю тезу:
1. коли ти згадуєш "false positive", уточняй, чи ти про false positive rate (FPR -- частка невинно звинувачених серед невинних), чи про 1 − precision (частка невинно звинувачених серед звинувачених). Бо абсолютне число FP не означає взагалі нічого, якщо не знати решту confusion matrix.
2. ще термін з класифікації: sensitivity, вона ж recall. Мова лише про recall не йде ніколи, бо його, очевидно, можна зробити 100%, як у твоєму прикладі. Тому я і писав, що завжди шукають оптимум на ROC кривій, recall vs FPR. Або на recall vs precision, вибір залежить від відносної ціни помилки першого роду, помилки другого роду і транзакції.
3. Ми говорили про "несправедливість". її можна визначати через FPR або 1 − precision. Так от, весь мій допис не про помилки як такі, а про неоднорідність FPR чи precision в субдемографіях. Нехай, расових. А власне теза з двох частин: (1) неоднорідність між субдемографіями може стабільно існувати навіть якщо параметр раси виключити з прямого розгляду, тому сам факт такої неоднорідності не може служити доказом зловживання параметром раси при класифікації. (2) Гарантовано усунути цю неоднорідність можна лише включивши її усунення як регулязиційну вимогу, що, в свою чергу зіпсує класифікатор.
> ... профайлінг НЕДОРЕЧНИЙ та НЕЕФЕКТИВНИЙ в ситуації, коли йдеться про групи з дуже малою кількістю true positives.
Не показав. Ти проілюстрував, що використання раси як єдиного предиктора, може бути нерозумним. Дякую, Капітане.
В статистиці, взагалі, важко доказати неіснування, простіше показати існування. Бо такі "докази" легко розбиваються простими конструкціями, але зараз я вже не годен писати. Завтра закінчу, якщо дійдуть руки, можеш взяти паузу
(no subject)
Date: 2022-09-20 04:41 pm (UTC)Можна, чому б ні. Якщо є бажання ловити злочинців типу "наркота в кармані", то можна обшукувати як чорних підлітків в Окленді, так і білих балбесів в Стенфорді. Ефект буде однаковий.
Що до визначень - я трохи зекономлю час і ще раз повторюсь, статистика доказом зловживання (УМИСНОГО використання чогось на шкоду чи зло) не може бути, бо вона не доказує НАМІР, тільки імпакт. Я це давно сказав, повторити мені не шкода, так що тут ти preaching to the choir. :)
Більш того, я казав і повторю, що імпакт може існувати БЕЗ НАМІРУ. (Що я і ілюстрував на екстремальному прикладі російської вчительки в Ізюмі).
P.S. До речі, ти тут пригадував емоційну реакцію на новини про поганців, які штовхають бабусь. Я на принцип загуглив новини про бабусь, яких штовхали ("pushed elderly woman"), так там переважно або білі чоловіки середнього віку, чи жінки молоді, знову білі. Отака вийшла ілюстрація про баяси і нарративи.
(no subject)
Date: 2022-09-17 08:11 am (UTC)А ось тут ще одна сувора помилка. В реалі засудити без вини це НЕ злочин. Ніхто не карає копа, який арештував невинного - qualified immunity. Ніхто не кидає в камеру прокурора, який "зробив помилку" - упс, буває, трапляється. Ніхто не карає присяжних чи суддю, які винесли помилковий вирок.
Навіть просто відмінити неправильний вирок - це везіння, час і купа грошей. Про покарання причетних до цього взагалі не йдеться. (Так, бувають іноді виключення, коли хтось цілеспрямовано підробляв докази і його ЗМОГЛИ піймати - але просто факт помилкового засудження невинного карною системою принципово ігнорується. By design.)
Тому якщо ставити ціллю системи розкриття злочинів, і НЕ карати за false positives (як воно і є в реалі) - то система швидко починає працювати на збільшення positives взагалі. А false чи true - як ти відрізниш, якщо система за це принципово не карає?
Incentives define behavior, ага.
(no subject)
Date: 2022-09-17 12:48 am (UTC)Поліція може suspect somebody - але ці підозри при арешті без ордера повинні бути на рівні probable cause.
В випадку з профайлінгом бігуна виходить:
- Your Honor, I saw this person - he was running and he was male and he was Black - and I know a lot of criminals who look like that. So I decided it is a good enough reason to pursue and detain him.
Вибач, але ж це явна фігня. Бо мінімально адекватний коп скаже:
- Your Honor, I saw this person, he was running and he wasn't dressed like a runner, so I assumed he was fleeing the crime scene. Thus, I assumed there is a high probability that he was involved in the incident and decided to pursue and detain him.
(no subject)
Date: 2022-09-17 01:52 am (UTC)Що коп каже судді, я не знаю, але, крім підозрілого бігу, сподіваюся, міг би і сказати, що "that day, we had two other assault and theft incidents reported with the assailant described as a 6'-tall African American male in his mid-to-late teens wearing black jeans a dark brown hoodie. The suspect fit the profile and as he was attempting to escape the area by foot, I decided to initiate the pursuit"... Але знову ж таки, хочера, у нас макроскопічна частка чорних школярів підійде під такий опис, тому що, знову расизм?