Про біженців та статистику
Sep. 15th, 2022 10:00 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mprotsenkoЯ безмежно вдячний усім країнам, які приймають українських біженців. Мені навіть соромно за різницю у ставленні до українців у порівнянні з, наприклад, сирійцями.
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
(no subject)
Date: 2022-09-16 05:14 am (UTC)Але, камон, бро, the multiple of anecdote is not data - на кожен анекдотальний випадок, коли поліцейський зробив правильно можна знайти контранекдот, коли він чи вона зробили неправильно, і то, що менти так чинили зі такою няшечкою як я, чи так чинили з тим чорним злочинцем - не доводить ані мою, ані твою точку зору.
Більш того, використання анекдотів як доказів (а не як ілюстрації к даним) - унеможливлює продуктивну дискусію. Бо вмикається confirmation bias і починається те, що я кажу - нарративи, імідж, оце все це - замість вивчення вопроса і обговорення по суті.
А щось тому копу заважало усіх зупинити та опитати? Сказати ти, ти і ти, будь ласка, почекайте хвилиночку, є важливі питання, загубилася дівчинка? (і оцінити реакцію усіх трьох заодно - переходячи від гендерного профайлінгу до біхевіорального?) Хтось з вас трьох тікав?
Бо якщо ні - то ризик проігнорувати можливу злочинницю тут як раз перевішує необхідність в профайлінгу. І, виходить, профайлінг тут як раз куди менш доречний, ніж в ситуації, коли час на рішення - долі секунди, максимум - секунди.
Я далекий від того, щоб вважати, що в будь-якій ситуації поліцейський може бути абсолютно нейтральним комп'ютером - але і вважати, що в будь-якій ситуації треба не вмикати голову, а користуватися байасами - тоже так собі ідея, ні?
(no subject)
Date: 2022-09-16 06:14 am (UTC)So? Я тут розпинаюся, що мене якраз і бісить, коли люди, чуючи single anecdote, однозначно впевнені, що це расизм. Ну і, додатково бісить, що, ніби, у всіх інших питаннях це раціональні люди, бо сексизма чи, он, ейджизма в тому не бачать.
До твого питання: так, копу щось заважало одночасно опитати нас трьох. Йому доводилося вибирати, до кого з трьох дорослих підійти, обов'язково втрачаючи з поля зору інших двох потенційних крадіїв, бо ми були на різних вуличках, розходилися від одного перехрестя. Якби то були справді крадії, вони би мали шанс втекти: принаймі, одна з них, хто, як і я, був за дорожньою тумбою, на машині не проїдеш. Ось, перехрестя, я там 11 років дітей вигулював :) У випадку, коли треба було зупиняти бігуна, той коп теж мусив вибиртати, куди бігти спочатку. Такий профайлінг в роботі всякого копа стається постійно, робота така. Тому факт пройфалінгу не можна використовувати як доказ або навіть ілюстрацію зловмисної упередженості. Це весь мій месидж, не більше, не менше.
(no subject)
Date: 2022-09-16 07:30 am (UTC)Тут ще і таке - якщо ми вважаємо нормою профайліти чорних підлітків, бо в них статистика, то і профайліти копів - теж норма. Бо в копів теж статистика теж така, "атарві і вибрась". Чи якщо профайліти чорних підлитків не айс (як мінімум в тих випадках, коли того можна запобігти - коли є час увімкнути мозок), але і копів профайліти в онлайн дискусіях (де час подумати те ж є) - не можна.
Nobody can have it both ways - ані ти, ані ти, кого ти критикуєш.
(Це ж реально сувора іронія, щоб не сказати гірше. З одного боку, виходить, що копу норм профайліти і робити висновки на базі профайлу. Але з іншого, коли починають профайліти та робити висновки вже щодо самого копа і його нібито расизму - ой, бісить, фуфуфу!)
А навіщо одночасно? що, запитати, будь ласка, почекайте ось тут хвилиночку - не можна? чи навіть гаркнути - ти, ти, ти - стій на місці, підійди сюди, важлива справа! (а потім вже опитати, одночасно чи по черзі?)
"Sorry, m'a'm, you, and you, and you, sir - wait a second, I need your help, can you please come here?"
(Космічні технології, блін, покликати трьох людей... :) в інших ситуаціях вони цілком вміють так робити, я сам бачив, правда-правда :) )
(no subject)
Date: 2022-09-16 08:28 pm (UTC)Звичайно.
> ... профайліти і робити висновки ...
Wrong. Ти жирним шрифтом проілюстрував основну проблему, проти якої я весь цей час протестую. Не можна ці поняття разом розглядати. Профайлити -- одне, робити висновки -- інше. Підозріливіше ставитися до Васі, бо його профіль корелює з профілем типового злодія і наркомана -- ок. Звинувачувати Васю за це ж -- злочин. Підозріливо ставитися до поліції, бо вони схильні до расизму і зловживань -- правильно і потрібно. Називати сам факт профайлинга расизмом -- зло і профанація.
> А навіщо одночасно? що, запитати, будь ласка, ... Sorry, m'a'm, you, and you, and you, sir -
Космічні технології -- фігня, з тутешніми дітьми працювати часом важче, вже мовчу про батьків. Я правильно пам'ятаю, що ти не так щоби регулярно гуляєш з кількарічними дітьми?... Таке можна зробити впритул, за 5 метрів треба буде крикнути, за півблоку розводити алярми. Відповідно, поки у нас не облава, а обережна перевірка, чи все ок, то так, усіх охопити не вийде. Але то таке, вже тему зализали, там нічого особливо вартого уваги не ставалося.
Ще тут додам:
> .. intent vs impact ..
Я не погоджуюся з таким підходом, але це термінологічне, а так, навіть якщо допустити, що імпакт рулить, то мій поінт не міняється. Якщо пам'ятаєш, там ламент такого типу: якщо расовий профайлинг = расизм, то профайлинг за статтю = сексизм. Теж імпакт: через клятих сексистів поліцейських дев'ять з десяти в'язнів - чоловіки.
(no subject)
Date: 2022-09-16 08:54 pm (UTC)Так ось це, запрофайлів, спіймав та заарештував - це і є "звинуватив", ні? Міранда, звинувачення, оце все? В буквальному сенсі.
І на кожен анекдот "вгадав з профайлінгом і заарештував реального злочинця" є купа контранекдотів "не вгадав, заарештував та навіть засудив/вбив невинного".
(Тобто з таким підходом в твоєму анекдоті було б коректно робити так "бігли двоє, поліцейський спочатку придивився до чорного хлопця, побачив в нього в руках вкрадену сумочку" - і побіг арештовувати вже маючи probable cause, яка відрізняється від running while black. А "побачив чорного, зробив висновки і побіг його арештовувати по звинуваченню в крадіжці" - то це саме то і є, проти чого ти виступаєш, ні?)
(no subject)
Date: 2022-09-17 12:03 am (UTC)Вибач, треба було писати англійське слово, українське багатозначніше. "Звинуватив" as in different from "висловив підозру", тобто, Indicted. Тобто, оце все "засудив / убив" , та і, за рідкісними винятками "заарештував", це все уже далеко поза рамками, де профайлинг дозволений.
Якщо чувак не винен, то зупинився і дав поліцейському перевірити, що все ок, якщо той помилився, то поліцейський вибачився і пішов шукати наступного кандидата. Все. Єдина проблема: якщо у тебе є інші причини бути заарештованим, то заарештують, навіть якщо торбинку крав не ти. Абидна, але це не расизм.
Ти там в іншому коменті згадав "false positives". Так в роботі правоохоронних органів, на рівні перевірки, помилки першого роду не проблема. Проблема -- false negatives, неперевірені злочинці, і ще більша проблема -- false positives на рівні звинувачень / покарань. Але друге є результатом проблем з доказами, а не пройфалинга.
> ...поліцейський спочатку придивився ...
Я бачив затримання на бігу двічі, раз тут, раз у Львові. Обидва рази все виглядало так, що фрази "придивився" і "розгледів сумочку" звучать як знущання над слухачем. Правильніше буде: краєм ока побачив фігуру і ломанувся за нею, розгледівши мінімум, усвідомивши ще менше. Дивно, ти, за твоїми ж розповідями, мав у житті набагато більше пригод, але якось твої уявні сценарії ну дуже сильно відрізняються від мого обмеженого досвіду: то копи зусиллям волі на відстані відвертають увагу батьків від шумних тодлерів, то на ще більшій відстані за долі секунди сканують інвентар бігунів... Куди там нашій берклійській поліції до луганської :))
(no subject)
Date: 2022-09-17 12:27 am (UTC)О, гучномовець (та і просто оклик) в нас якимось дивом перетворився на магічне зусилля волі... тобто ти вважаєш, що в такі високі технології копи не вміють? окей, окей... :))))
Якщо таких саме злочинців, але іншого кольору - не заарештовують/арештовують значно менше, то по імпакту це таки расизм. (або якщо іншої статі - то сексизм, який теж може існувати!)
По-перше, робота правоохоронних органів і їх помилки не закінчуються на рівні перевірки ("пробачте, в нас питаннячко. дякую, доброго дня!"). В роботі правоохоронних органів є такі речі як обшуки та арешти. І помилки там бувають типу "копи вбили невинну людину", "копи затримали невинну людину", "копи побили невинну людину та відпустили". Жодна з цих проблем не закінчується "звинуваченням" чи "покаранням" (з точки зору verdict/sentence).
Але навіть "завернули невинному ласти" - це зло. Фізичне насильство, як воно є.
Можна ще сперечатися, що це зло необхідне - і в деяких випадках я навіть можу погодитися. (Я ж нібито прямо казав про те, що в ситуації коли за долю секунди треба вирішити за кім бігти - профайлінгу важко уникнути.) Але вважати, що це добро в тих випадках, в яких можна зробити інакше - неправильно.
Я повторю питання - що ти скажеш про систему, яка має статистично помітну різницю між несправедливими арештами-засудженнями-вироками по кольору шкіри-статті-тощо? Її можна називати расистською? (сексистською і тепе?) Чи ці помилки припустимі і не можна казати про -ізми в таких випадках?
P.S. Я розумію, що якщо такі "помилки першого роду" тебе особисто не торкаються - то можна і не дивитися на них, зробити вигляд, що їх нема - але ж це саме та проблема, про яку я писав. (насрати на статистику, на вивчення питання - це все цікаво, але головне це анекдоти. І який сенс тоді в дискусії?)
(no subject)
Date: 2022-09-17 02:56 am (UTC)> несправедливими арештами-засудженнями-вироками по кольору шкіри-статті-тощо?
Названого недостатньо, щоби щось сказати. Для початку, залежить, як визначати. Природнє визначення, імхо, що справедлива система з однакою імовірністю розпізнає невинного, який попав під підозру. Але навіть у такій системі можна відтворити вищенаведену статистику, за рахунок різної частоти підозріваності.
Реальний приклад: донедавна я цим і займався, не злочинцвв ловив, а визначав цифрових шахраїв. Один наш клієнт, банк, після пілоту відмовився від наших послуг. Сказав, що фродстерів ми ловимо кльово, але в результаті виходить, що людям з historically underbanked minorities частіше відмовляють, ніж багатим білим. Банк пішов працювати з конкурентами, які обіцяли equitable алгоритми... Але через рік вернувся до нас, бо equitable алгоритми пропускали забагато шахраїв, і банк втрачав гроші (або доводилося задирати порогові значення моделі так, що відмов було більше і у minorities, і у majorities.
(no subject)
Date: 2022-09-17 05:24 am (UTC)По-перше, з точки зору імпакту - це таки расизм. Ти можеш не погоджуватися з таким визначенням расизму, але біситися від того, що хтось має визначення, які відрізняються від твоїх - ну, таке...
А по-друге, це тупо "дилема вагонетки", slippery slope...
(no subject)
Date: 2022-09-17 06:48 am (UTC)Не "нам окей", а "всім окей". Принаймні всім ок, поки Х = "чоловіки", або Х = "молодь". Далі, що я кажу, це що боротьба з дикримінацією Х повинна ставатися не через відміну профайлінга, а за рахунок досягнення максимальної точності і справедливості при встановленні вини підозрюваних. А проста арифметика каже, що навіть за умови досягнення вищезазначеної точності і справедливості, поки вона не асболютна, обов'язково будуть такі групи Х, серед яких виявиться більше несправедливо заарештованих, ніж серед якихось Y ≠ Х, поки основною задачею правоохоронної системи є правоохорона, зокрема розкриття злочинів, a.k.a., максимізація true positives. Навіть без пройфалинга. Звичайно, оскільки невинно засудити -- це теж злочин, то шукають методи щось виправляти, тобто завжди вибирають якусь точку на ROC curve... Але я наполягаю, що у твоєму визначенні через impact єдиною гарантованою расово справедливою системою буде така, де затримувати злочинців будуть за расовими квотами, а якщо місячну квоту на чорних і білих уже вибрали, то хай китайці з латиносами начуваються.
> ... біситися від того, що хтось має визначення, які відрізняються ...
Перепрошую, але конкретно "бісить" я казав виключно про підхід, коли расизм -- так, а сексизм або ейджизм -- ні, що ви
(no subject)
Date: 2022-09-17 07:36 am (UTC)Це може бути зло, якому не можна запобігти (хоча в реалі, звісно можна, хоча б трохи, як би там не викручуватися на тему "копи не вміють окликнути людину на іншому боці вулиці/користуватися гучномовцем".) Але це все одно зло - і ми, як представники певної групи - його бенефіціари.
І робити вигляд, що це не зло або що ми (як представники певної групи) не бенефіціари - це перший крок в дуже поганому напрямку, як на мене. Я розумію погляд "так, це зло, але запобігти в цілому не можна, але можна намагатися робити хоча б щось". Він чесний. Я розумію погляд "так, це зло, але мені начхати - я вважаю нормою це зло". З цією людиною мені не по дорозі, але це теж чесно.
А ось позиція "це не зло/не расизм по імпакту" - це спроба активно не звертати увагі. Meh.
Очевидно, що ні, бо в такий системі зовсім не факт, що не будуть хватати невинних. (Собсна, так вже і роблять - був шкандаль, коли в НЙС копам казали прямим текстом - затримуйте менше азійських бабусь, не шукайте неприємностей.)
Єдина система, де ми можемо хоча б асимптотично наблизитися до справедливості та трохи позбутися "расизму по імпакту" - це та, де хватають вбивць по ознакам, які притаманні саме вбивцям (а не по ознакам, які притаманні групі, яка має аж вбивць аж менше відсотка).
І ти сам про це пишеш "досягнення максимальної точності і справедливості при встановленні вини підозрюваних". Але профайлінг цілої групи,
* де реальних злочинців дуже мало, хай 1% (і це я дуже щедрий - скільки молодих чорних парней грабують бабусь? скільки їх взагалі існує? отож бо!)
* де є статистично значима кількість false positives
дасть нам захмарну кількість тих false positives, просто тому що Баєса не надуриш. Тобто це протилежність "максимальній точності та справедливості".
Так що там, де профайлінга можна позбутися - його треба позбуватися, як мінімум, тоді, коли мова, йде про групи, де в цілому злочинців - статистично незначна кількість. Бо Баєс, сцк.
А тут в тебе помилка - основною задачею правоохоронної системи є створення безпеки, тобто, МІНІМІЗАЦІЯ злочинів. Якщо в нас сьогодні 100500 вбивств, з яких розкрили 100499, а завтра знову їх 100500 - то по твоєму визначенню правоохоронна система рулить, а в реалі вона позорно зафейліла. Розкриття злочинів - це тільки один інструмент для досягнення цієї мети.
(no subject)
Date: 2022-09-18 07:21 am (UTC)А все тому, що ми говоримо про речі дотичні, але дуже різні.
Справа в тому, що я майже з усім, що ти пишеш, згоден, з точністю до епітетів. Що правоохоронна система повиннамінімізувати злочини (я того і писав, що "зокрема ", але, видно, цього було недостатньо), що в реалі поліція багато чим зловживає, що когось реальна система вражає більше, а когось менше, ще купа всяких несправедливостей.... Але це все не грає ролі для того, що я хочу сказати про профайлинг Моя тема інша і більш компаткна: це тема методологічної доречності/необхідності профайлінга взагалі і математично зумовлених його наслідків. . Але оскільки ти цю тематику сприймаєш близько до серця, то одразу перейшов у режим боротьби з расизмом з боку поліції, і кожен аспект розглядаєш саме з цеї точки зору. Тому, думаю, у парі прикладів, яку я навів, ти першим ділом шукаєш "а чого це коп не міг інакше", хоч там вихідний посил прикладу був, що не міг. For all practical purpoces, можеш вважати, що обидва приклади я придумав як ілюстрації, де дано, що поліцейському доводиться вибирати, кого запідозрити першим -- ситуації достатньо реалістичні, щоби не бути малореальними абстракціями типу проблеми вагонетки. (Насправді, ситуації, справді, реальні, але не бачу, як нам уникнути спроб колупатися в зайвих деталях.) Ну і так з усім іншим... Ти не подумай, я тебе не звинувачую в навмисній нечесності чи спробі спотворити дискусію, а лише діагностую, що у нас стається. Я впевнений, говорячи на теми, настільки ж глибоко важливі для мене, я роблю точно те ж саме. Напевне, просто не треба було зачіпати тему расизму, моя кульпа. Тому я оце і пробував з'їхати на менш гострі приклади, як то web security... не вийшло :) Я якось напишу на цю тему окремий пост, так буде, може, краще. А тут я можу лише ще раз переформулювати свою думку без залучання поліції і расизму:
Всяка ціннісно-заряджена (тобто, карає або нагороджує) бінарна класифікація (а) без прямого доступу до таргет метрики, (б) з обмеженими ресурсами і (в) з неоднорідною за додатковими параметрами популяцією класифікованих об'єктів неодмінно виявиться "несправедливою", тобто, для деяких параметрично-зумовлених підмножин імовірність покарання/нагороди буде вища, ніж для інших. Можна пробувати усунути цей дисбаланс через ускладнення objective function (ukr?) класифікатора, а.к.а. регуляризацію, але такі спроби ведуть до погіршення первинних performance metrics, все одно не позбавляться несправеливості, хай для інших субпопуляцій, а ще зворотній зв'язок такого типу дестабілізує класифікаційну систему в цілому.
Розшифровую: (а) означає, що ми не можемо наперед точно виміряти основну цільову метрику (шахрай/ні в web security, віддасть/ні іпотеку в банкінгу); (б) означає потенційну можливість дискримінації, наприклад кандидатів на покарання/нагороду розглядають по черзі; (в) означає, що між observable параметрами і кінцевою класифікацією є ненульові кореляції (більше шахраїв серед рудих, лисі рідше дефолтають). Результат же означає, що з великою імовірністю рудих будуть частіше несправедливо звинувачувати в шахрайстві, а лисим невиправдано частіше давати позики; а спроби не допустити такого дисбалансу приведуть до збільшення загальної кількості шахраїв, росту іпотечних ставок для всіх, і дискримінації бльондинів і велосипедистів як антишахрайським сервісом, так і банками. А через рік проблеми рудих повернуться, хоча проблеми велосипедистів не зникнуть.
Все. Єдиний висновок, який я пропоную з цього зробити, це що сам факт наявності несправеливого outcome'а не може бути доказом джинджерофобії, пеладофілії, чи злих намірів кого завгодно, тому правити класифікатор, підганяючи його під бажану статистику за другорядними параметрами, не можна.
(no subject)
Date: 2022-09-18 06:22 pm (UTC)1) перший проілюстрував, що профайліти по профільним параметрам (wrong kind of jogging attire) доречніше ніж по непрофільним (колір шкіри). Якщо ж брати уявний випадок - біжить біла дівчина в mismatching attire та біжить чорних хлопець в бігових шортах - то, виходить, профайліти треба дівчину, так? Тупо з точки зору ефективності? (І тоді прибирання з реального прикладу профільних ознак - це погана гра?)
2) твой інший приклад продемонстрував, як профайлінг може бути неефективним, як мінімум в випадках, коли можна без нього. (Як не крутись на тему "копи не вміють користуватися гучномовцем", але ж вони вміють, і гучномовці в них такі, що і від тодлерів увагу відвернуть. :))) )
А що до математичних наслідків - що там нам каже чортів байєс з точки зору профайлінга групи з 1% реальних злочинців та, припустимо, 2% false positives? (і це я підозрюю, роблю оцінку злочинців занадто високою, а false positives - занадто низкою, якщо казати не тільки про вироки, але і про обшуки-арешти.) Ото ж бо!
Більш того, "профайліти менше/більше -> мати більше/менше злочинів" - це ХИБНА ДИХОТОМІЯ. Бо крім профайлінгу - в копів є багато інших інструментів. І деяким з них профайлінг навіть заважає.
(Звісно, дільничий навіть під страхом тортур не вимовить слова "локальний оптімум", і частиною думок він не буде ділитися з інформантом - але загальна ідея спілкування копа та місцевого мешканця буде саме така. І да, так працювати вміли навіть копи в Луганську, яки до війни були - без жартів - набагато ефективнішими за їх окландських колег, бо злочинність впала з "розбірки з використанням гранатометів" до "звичайне індустріальне місто, неідеальне, але і вночі вийти в магазин можна без страху").
Фігня тут в тому, що якщо копи займаються неефективним масовим профайлінгом по кольору шкіри, то вони не займаються агентурною роботою (і більш того, підривають довіру потенційних інформантів - бо як мені довіряти копам, якщо вони мене регулярно торблять, принижують, і навіть в околотці протримали декілька годин ні за що, а сусіда взагалі вбили execution style?).
Про неможливість робити висновок що до намірів - я ПОВНІСТЮ ЗГОДЕН. Я ж навіть написав про це давно вже. Це, взагалі, реальная проблема - погані наміри Івана Дем'янюка ти НІКОЛИ не зможеш довести, хиба що він почне кричати щось про поганих євреїв.
А ось інша частина сформульована дуже не айс. Засудження невинних - це другорядний параметр? Ой-ой-ой, друже, ти зараз в групі ризику... Це вже дійсно дуже схоже на поганий intent - ну, засудили, арештували чи повбивали там трохи тих, з рудим волоссям, таке, другорядна справа, я ж не джиндер. Не хочеш переформулювати?
Що до боротьби з расизмом в поліції, то, як не дивно - я не про зовсім (і не тільки про) це. Я про неефективність широкого профайлінгу (наприклад, по кольору шкіри) з точки зору статистики. Бо кожного разу, коли в результаті профайлінгу ми витрачаємо ресурси на false positive - ми могли би їх витрачати на отримання true positive. І це потрібно робити, хоча б для того, щоб зменшувати злочинність.
І тут web security погана аналогія - кількість сигналів, якими ти можеш оперувати, там обмежена, прямого доступу до таргет метріки, чи хоча б до додаткових метрик з сильною кореляцію в тебе нема. Краща аналогія - це медицина. При ризику пухлини в 1% та статистично значному рівні false positives, ніхто з лікарів не призначає full-body MRI та exploratory surgery - бо шкода для 99% занадто висока і ресурсі обмежені (як вони обмежені і в копів).
(no subject)
Date: 2022-09-18 07:46 pm (UTC)> ... неефективність широкого профайлінгу ... за кольором шкіри
Відносна ефективність і потрібна ширина залежать від кожного конкретного випадку профайлингу, але в цілому, звичайно згоден.
> Засудження невинних - це другорядний параметр?
?!? Де ти таке прочитав? Я такого не писав... Другорядний параметр -- це колір або наявність волосся. Всякий класифікатор, звчайно, намагається зменшити false positives, знаходячи оптимальний баланс між FP і FN. Що погано, це вставляти в алгоритм вимогу, щоби класифікатор мав однаковий false positive rate або, там, precision, для різних субпопуляцій за цими другорядними параметрами.
> Краща аналогія - це медицина.
Тrust me, хороша аналогія. Я працював з сайтами, де ціна false positive'а була в рази вища, ніж false negative'а. Наприклад, видача автостраховки онлайн сервісами. Хоча, звичайно, якщо прирівнювати черговість перевірки підозрюваонго до арешту і 10 років тюрми, то так... Та і просто за фактом: наші і аналогічні алгоритми звинувачували в такому ж злобному расовому профайлингу, як і поліцію.
> ... погані наміри Івана Дем'янюка ти НІКОЛИ не зможеш довести, ...
Якраз це ні разу не обов'язково. Я кажу інше: якщо дивитися не на наміри, а лише на статистику результатів, то абсолютно "справедливий" класифікатор можливий лише для виродженого результату: не блокувати або не видавати іпотеку нікому. Ну і чим невиродженіші результати, тим більшу несправедливість там можна знайти.
(no subject)
Date: 2022-09-18 09:29 pm (UTC)Я пишу про зменшення false positives - у тому рахунку серед груп, які профайлять.
Ти пишеш про "підганяти статистику за другорядними параметрами".
Дякую, що прояснив, бо бачиш, як легко щось не так прочитати/написати. (тобто бачиш, як я неправильно прочитав та дістався такого висновку - за що прими мої вибачення!)?
Можна подумати, що мій особистий приклад "завернули ласти та потягли в околоток" - зустрічав розуміння в мене, чи в будь-яко з інших false positive в аналогічних випадках? Чи будь який інший профайлінг за межами "підійшли і ввічливо запитали"?
Що важливіше - знайти розуміння, чи знайти дівчину, що може бути вкраденою? Це якщо перше - то це як раз суперечить ідеї "профайлінг дозволяє досягти результатів", бо ми його використовуємо, щоб не добитися максимально ефективних результатів, а "знайти порозуміння".
Навіть просто обшук/арешт - це не котик лапкою доторкнувся, це "не черговість перевірки". Але ці арешти-черговість в комбінації з false positives в решті системи - приводять до цілком помітного racism by impact (і не приводять до сексизму, що цікаво - це хоч і в першому приближенні статистика, але дуже цікаво, ні?).
А ось це зовсім не факт. Так, абсолюту досягти неможливо - але що заважає спробувати асимптотично наблизитися до нього?
Особливо в світі того, що знизити злочинність та incarceration rate одночасно - цілком реально (купа прикладів є в світі), а зниження incarceration rate (і заодно арештів/обшуків тощо) - веде до зниження кількості false positives (тупо by definition)? (А зниження злочинності парадоксально веде до зменшення кількості true positives, хехехе!)
(Зверни увагу, що я як раз апелюю до баєса та існуючої статистики, а не до анекдотів!)
Ні, аналогія погана - бо на відміну від копів та лікарів - fraud detection працює з обмеженою кількістю сигналів, і не може шукати додаткові сигнали on case by case basis - тому що їх просто нема де отримати. (Ціна отримання сигналу перевищує вартість послуги fraud detection.)
Більш того, аналогія погана тим, що fraud detection - це zero sum game. А правоохорона і охорона здоров'я - ні.
(no subject)
Date: 2022-09-19 06:52 am (UTC)Та ні, хороша :) За визначенням: я ж ліпше за інших знаю, до чого саме це аналогія :) А вона про речі, які повністю попадають в область перетину множин ознак полісінга в веб полісінга. Відмінності там теж є, хай я не погоджуся з з нульовосумністю чи аж настільки вищою обмеженістю сигналів останнього, але погоджуся, що різниця цих множин теж дуже ненульова.
Але, в цілому, я не можу позбутися відчуття, що ти сприймаєш всяке моє твердження через внутрішній діалог: "Те, що він каже, допомагає боротьбі з расизмом? - Ні. Значить, щось зі сказаним не так, зараз пошукаємо." (Я не стверджую, що ти так думаєш: це саме відчуття) Тому і намагаюся весь час посунутися в область, де ми менше зациклені на моральних оцінках результату, бо поки людина думає про мораль, вона не може нормально розглядати методологічну частину. Для будь якої моралі, хоч християнської, хоч комуністичної, хоч якатамунасзаразнаймодніша: принципи біології однаково вірні незалежно від того, чи вони конфліктують з Біблією, творами Леніна, чи поглядами лідера тіктоківських інфлюенсерів. Так само і тут.
З максими "всякий класифікатор [blah-blah-blah деталі] буде по відношенню до когось несправеливий, а спроба закодувати усунення несправедливостей в алгоритм класифікатора скорше псує речі, ніж поправляє" випливає дуже мало. І це мало я уже сказав. Все інше -- це хибні екстраполяції або не менш хибні інтерпретації. Зокрема, це не означає, що "нема расизму". Не означає, що всякий класифікатор хороший: ні, все можна покращити, але не всяким способом. Не означає, що весь профайлинг в реалі виправданий: ні, є купа проблем, але сам факт "несправедливого" outcome'у цього не доказує. Не означає, що не можна одночасно зменшити кількість арештів і злочинів: можна, включно з покращенням того, як поліція вирішає, кого запідозрити, але в першу чергу всякими іншими методами.
Взагалі, я думав, ти про останнє сам заговориш: це ж популярна (і вірна) думка в лівих і центристських кругах, що effective crime reduction happens not through the change in policing but by attacking the root cause of crime. В web security: ми в принципі не можемо бачити расу... ан, бач, все одно профайлимо негрів і гіспаніків, аж гай шумить. Адекванта поліція профайлить не за расою, а за сукупністю ознак..., але виявляється, що у них з расою сильна кореляція. Поки таке стається, розрізнити адекватну поліцію і зловмисних копів расистів на підставі лише статистики результатів неможливо. Зате базовий підхід до виправлення такої "ненавмисне несправедливої" статистики досить очевидний: замість понижувати планку класифікатора, руйнувати оті кореляції. Case study: web bank account appliction, де ми "дискрімінували" historically underbanked minority communities. Серед пари сотень сигналів-features в нашому алгоритмі найзначущіші за predictive value були сигнали, зав'язані на історію девайса/мережі. Без цих компонент, наш алгоритм був втричі менш чутливим, але, з іншого боку, саме ці риси були головними драйверами "дискримінації". З очевидних причин: в бідніших родинах частіше багто людей користуються одним компом чи планшетом, засмічуючи історію девайса; частіше не захищають нормально компи поки лазять лівими сайтами, ловлячись на malware botnet'и; ще пару зв'язаних з класом або освітою моментів. Можна боротися з цим, заставляючи банк відключити або бастардизувати шахрай-детектор, але від того гірше всім. А краще стане, якщо давати жителям бідніших кварталів додаткові девайси, напрокат або назавжди, проводити курси з комп'ютерної грамотності, роздавати безкоштовні антивіруси.. Другий підхід ефективніший і, на загал, дешевший, але він -- не про
policingкласифікатор. Але це вже я відійшов від теми, хоч і обіцяв собі не, тема закінчилася в попередньому абзаці.> Що важливіше - знайти розуміння, чи знайти дівчину, що може бути вкраденою?
Просто зауважу: цей аргумент прекрасно захистить купу дрібних поліцейських зловживань, які ти так критикуєш. Правильна ж відповідь на задане питання: важливіше прореагувати на ситуацію адекватно до комбінації можливих ризиків.
(no subject)
Date: 2022-09-19 03:16 pm (UTC)Приклади:
- "коп профайліть бігуна по кольору шкіри, а чорт, ні, коп профайліть по купі ознак" (ховати суттеві ознаки в реал-лайф прикладі - bad form, негарно, некрасиво).
- "засуджувати невинних - це злочин" (лолшто? чувак реально мене троллить чи пише з країни рожевих поні?)
- "копи не можуть використати гучномовці"
і так далі, і так далі.
Камон, бро. Ось ситуація - вкрали сумочку. Якщо потенційний вкрадач втече - то зайвої шкоди для пограбованої бабусі не буде. Додаткових ризиків в конкретній ситуації для конкретної жертви нема. Ось ситуація - пропала дитина. Якщо потенційний кіднепер втече - він може згвалтувати чи вбити дитину. Яка ситуація потребує більш інтенсивного втручання? А ти кажеш, гучномовець не можна увімкнути...
А ось це неправда. Можна дивитися на false positives. Якщо гарний коп арештовує виключно чорних злочинців, а невинних не чіпає, а поганий коп арештовує виключно чорних - вони оба намагаються максимізувати true positives (і другий може навіть бути більш ефективним, бо він витрачає менше часу на те, щоб відділити агнців від козлищ). Але різниця в false positives в них буде сувора.
(і ти з цим ніби то погодився, але повертаєшся до цього "не можна, не можна", що і викликає в мене питання з першого абзацу цього коментаря)
Більш того, казати, що позбутися зайвих false positives в питаннях -ізмів in good faith не можна. Позбулися ж сексизму в першому приближенні (рівень exoneration жінок приблизно рівний рівню incarceration, ~10% - на відміну від чорних, де ці рівні 52% та 38% відповідно).
(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
Date: 2022-09-20 04:58 am (UTC)І раз ми пішли в оффтоп, то я не можу не пригадати, як таку проблему вирішували українські банки. Як сам розумієш, в плані фрода Україна нульових - те ще місце.
Але це зараз всюди МЛ - і коли в тебе в руках молоток, все інше здається схожим на цвяхи. А тоді таких фенсі слів там банки не чули - тому проблему з фродом вирішували просто, по пролетарські.
При розрахунках в онлайні - в хід йшло все що завгодно, від копійчаних OTP-токенів до ще тупішого підтвердження транзакцій через банк, аж до необхідності банк попереджати заздалегідь. Зараз деякі американські банки починають підтягуватися - починають робити двофакторну аутентифікацію для підтвердження ризикових транзакцій. Ну, таке, кращі пізніше, ніж ніколи, але все одно - вчорашній день...
А в офлайні все було ще простіше: ПІН-код, без в якого реалі не розрахуєшся, і ніякого тобі фроду. :) А американські банки сами собі вигадали проблеми, тримаючись руками та ногами за застарілі PIN-less картки. І самі героїчно їх вирішують - замість того, щоб перейти до більш безпечної системи з меншим рівнем дискримінації та більшим рівнем безпеки.
(no subject)
Date: 2022-09-20 05:35 am (UTC)А тут ще додам - я ж про це саме! Саме за допомогою байеса, а не анекдотів я показав, що профайлінг НЕДОРЕЧНИЙ та НЕЕФЕКТИВНИЙ в ситуації, коли йдеться про групи з дуже малою кількістю true positives.
Це головна теза в цьому офтопі - все інше, це реакція як раз на проблемні аргументи ("в інтернеті хтось неправий"), які як раз зводяться до анекдотів про копів, які профайлять чи то по шкірі, чи то по attire та не вміють користуватися гучномовцями. :) Я ж на це і звертаю увагу - що люди думають про імідж, нарратив, анекдоти - а в статистику чомусь не хочуть.
(no subject)
Date: 2022-09-20 08:27 am (UTC)Фрод ми, бачу, спостерігали різний, в смислі, різні юзкейси. bank payment fraud -- це досить вузька тема, якраз цим я не займався. Говорив з парою людей, які писали і тренували рендом форести для Візи, це дуже езотерична область. (Не люблю їх, один мене на роботу не взяв колись, а другий, досить близький знайомий, хоч і розумний IIT-alumni, але аморальна ватна жаба.) Я говорю про web fraud з точки зору стороннього "поліцейського", який не банк, а просто сидить на мережі і знає лише те, що видно в логах http транзакцій і в браузері мінус чисто персональне інфо типу імені, ссн, номера карточки, таке. Зокрема, у нас була (на відміну від стандартних варіантів з кредиткою) дуже велика кількість доступних змінних, обмежена лише ціною їх збору і імплементації. Кілька сотень -- лише найпростіші, реально було мати тисячу... Але в продакшені використовувати більше сотні було невигідно. Але то таке.
> хороший коп арештовує виключно чорних злочинців, а невинних не чіпає, а поганий коп арештовує виключно чорних (всіх)
Чого б цьому другому не заарештовувати ще і всіх білих: у нас же злочинці ще і білі є, тоді він зловить взагалі всіх і буде нам щастя. Не сприйми це як викручування, я не чекав, що треба уточняти очевидні мені умови, що, порівати методи за одними параметрами можна лише, зафіксувавши інші. Хоча, що у нас небезмежні ресурси я постулював, так що тут все просто: кожен арешт коштує грошей, тому, раз обидва можуть заарештувати всіх злочинців, твій хороший коп виявиться дешевшим, поганого ніхто не буде тримати.
Але якось пізно, пора йти спати, тому спочатку уточню терміни, потім нагадаю тезу:
1. коли ти згадуєш "false positive", уточняй, чи ти про false positive rate (FPR -- частка невинно звинувачених серед невинних), чи про 1 − precision (частка невинно звинувачених серед звинувачених). Бо абсолютне число FP не означає взагалі нічого, якщо не знати решту confusion matrix.
2. ще термін з класифікації: sensitivity, вона ж recall. Мова лише про recall не йде ніколи, бо його, очевидно, можна зробити 100%, як у твоєму прикладі. Тому я і писав, що завжди шукають оптимум на ROC кривій, recall vs FPR. Або на recall vs precision, вибір залежить від відносної ціни помилки першого роду, помилки другого роду і транзакції.
3. Ми говорили про "несправедливість". її можна визначати через FPR або 1 − precision. Так от, весь мій допис не про помилки як такі, а про неоднорідність FPR чи precision в субдемографіях. Нехай, расових. А власне теза з двох частин: (1) неоднорідність між субдемографіями може стабільно існувати навіть якщо параметр раси виключити з прямого розгляду, тому сам факт такої неоднорідності не може служити доказом зловживання параметром раси при класифікації. (2) Гарантовано усунути цю неоднорідність можна лише включивши її усунення як регулязиційну вимогу, що, в свою чергу зіпсує класифікатор.
> ... профайлінг НЕДОРЕЧНИЙ та НЕЕФЕКТИВНИЙ в ситуації, коли йдеться про групи з дуже малою кількістю true positives.
Не показав. Ти проілюстрував, що використання раси як єдиного предиктора, може бути нерозумним. Дякую, Капітане.
В статистиці, взагалі, важко доказати неіснування, простіше показати існування. Бо такі "докази" легко розбиваються простими конструкціями, але зараз я вже не годен писати. Завтра закінчу, якщо дійдуть руки, можеш взяти паузу
(no subject)
Date: 2022-09-20 04:41 pm (UTC)Можна, чому б ні. Якщо є бажання ловити злочинців типу "наркота в кармані", то можна обшукувати як чорних підлітків в Окленді, так і білих балбесів в Стенфорді. Ефект буде однаковий.
Що до визначень - я трохи зекономлю час і ще раз повторюсь, статистика доказом зловживання (УМИСНОГО використання чогось на шкоду чи зло) не може бути, бо вона не доказує НАМІР, тільки імпакт. Я це давно сказав, повторити мені не шкода, так що тут ти preaching to the choir. :)
Більш того, я казав і повторю, що імпакт може існувати БЕЗ НАМІРУ. (Що я і ілюстрував на екстремальному прикладі російської вчительки в Ізюмі).
P.S. До речі, ти тут пригадував емоційну реакцію на новини про поганців, які штовхають бабусь. Я на принцип загуглив новини про бабусь, яких штовхали ("pushed elderly woman"), так там переважно або білі чоловіки середнього віку, чи жінки молоді, знову білі. Отака вийшла ілюстрація про баяси і нарративи.
(no subject)
Date: 2022-09-17 08:11 am (UTC)А ось тут ще одна сувора помилка. В реалі засудити без вини це НЕ злочин. Ніхто не карає копа, який арештував невинного - qualified immunity. Ніхто не кидає в камеру прокурора, який "зробив помилку" - упс, буває, трапляється. Ніхто не карає присяжних чи суддю, які винесли помилковий вирок.
Навіть просто відмінити неправильний вирок - це везіння, час і купа грошей. Про покарання причетних до цього взагалі не йдеться. (Так, бувають іноді виключення, коли хтось цілеспрямовано підробляв докази і його ЗМОГЛИ піймати - але просто факт помилкового засудження невинного карною системою принципово ігнорується. By design.)
Тому якщо ставити ціллю системи розкриття злочинів, і НЕ карати за false positives (як воно і є в реалі) - то система швидко починає працювати на збільшення positives взагалі. А false чи true - як ти відрізниш, якщо система за це принципово не карає?
Incentives define behavior, ага.
(no subject)
Date: 2022-09-17 12:48 am (UTC)Поліція може suspect somebody - але ці підозри при арешті без ордера повинні бути на рівні probable cause.
В випадку з профайлінгом бігуна виходить:
- Your Honor, I saw this person - he was running and he was male and he was Black - and I know a lot of criminals who look like that. So I decided it is a good enough reason to pursue and detain him.
Вибач, але ж це явна фігня. Бо мінімально адекватний коп скаже:
- Your Honor, I saw this person, he was running and he wasn't dressed like a runner, so I assumed he was fleeing the crime scene. Thus, I assumed there is a high probability that he was involved in the incident and decided to pursue and detain him.
(no subject)
Date: 2022-09-17 01:52 am (UTC)Що коп каже судді, я не знаю, але, крім підозрілого бігу, сподіваюся, міг би і сказати, що "that day, we had two other assault and theft incidents reported with the assailant described as a 6'-tall African American male in his mid-to-late teens wearing black jeans a dark brown hoodie. The suspect fit the profile and as he was attempting to escape the area by foot, I decided to initiate the pursuit"... Але знову ж таки, хочера, у нас макроскопічна частка чорних школярів підійде під такий опис, тому що, знову расизм?
(no subject)
Date: 2022-09-16 08:56 pm (UTC)А це дуже гарний аргумент, до речі - особливо якщо подивитися на false positives. Яке там в нас відношення невинно засуджених жінок до невинно засуджених чоловіків? Можемо подивитися та порівняти з расовим імпактом, ага.
UPD: Це, звісно, непроста проблема - але цікава, ні? Я тут гугланув - exoneration rate приблизно одинаковий, якщо по гендеру дивитися. (Дані з https://innocenceproject.org/, https://www.prisonpolicy.org/)
Цікаво б було ще віднормувати по типам злочинів, але і так є над чим подумати, особливо якщо порівняти цю статистику з расовою...
Бо, TBH, на імпакт для злочинців усім переважно насрати (особливо коли мова йде про серйозні злочини, по дрібницям є окремі питання) - але якщо ти скажеш, та пофіг з тим імпактом на невинних, ці помилки того варті... Ну, я сподіваюсь, що ти такого не скажеш - але... What say you?