Про біженців та статистику
Sep. 15th, 2022 10:00 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mprotsenkoЯ безмежно вдячний усім країнам, які приймають українських біженців. Мені навіть соромно за різницю у ставленні до українців у порівнянні з, наприклад, сирійцями.
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
(no subject)
Date: 2022-09-18 07:46 pm (UTC)> ... неефективність широкого профайлінгу ... за кольором шкіри
Відносна ефективність і потрібна ширина залежать від кожного конкретного випадку профайлингу, але в цілому, звичайно згоден.
> Засудження невинних - це другорядний параметр?
?!? Де ти таке прочитав? Я такого не писав... Другорядний параметр -- це колір або наявність волосся. Всякий класифікатор, звчайно, намагається зменшити false positives, знаходячи оптимальний баланс між FP і FN. Що погано, це вставляти в алгоритм вимогу, щоби класифікатор мав однаковий false positive rate або, там, precision, для різних субпопуляцій за цими другорядними параметрами.
> Краща аналогія - це медицина.
Тrust me, хороша аналогія. Я працював з сайтами, де ціна false positive'а була в рази вища, ніж false negative'а. Наприклад, видача автостраховки онлайн сервісами. Хоча, звичайно, якщо прирівнювати черговість перевірки підозрюваонго до арешту і 10 років тюрми, то так... Та і просто за фактом: наші і аналогічні алгоритми звинувачували в такому ж злобному расовому профайлингу, як і поліцію.
> ... погані наміри Івана Дем'янюка ти НІКОЛИ не зможеш довести, ...
Якраз це ні разу не обов'язково. Я кажу інше: якщо дивитися не на наміри, а лише на статистику результатів, то абсолютно "справедливий" класифікатор можливий лише для виродженого результату: не блокувати або не видавати іпотеку нікому. Ну і чим невиродженіші результати, тим більшу несправедливість там можна знайти.
(no subject)
Date: 2022-09-18 09:29 pm (UTC)Я пишу про зменшення false positives - у тому рахунку серед груп, які профайлять.
Ти пишеш про "підганяти статистику за другорядними параметрами".
Дякую, що прояснив, бо бачиш, як легко щось не так прочитати/написати. (тобто бачиш, як я неправильно прочитав та дістався такого висновку - за що прими мої вибачення!)?
Можна подумати, що мій особистий приклад "завернули ласти та потягли в околоток" - зустрічав розуміння в мене, чи в будь-яко з інших false positive в аналогічних випадках? Чи будь який інший профайлінг за межами "підійшли і ввічливо запитали"?
Що важливіше - знайти розуміння, чи знайти дівчину, що може бути вкраденою? Це якщо перше - то це як раз суперечить ідеї "профайлінг дозволяє досягти результатів", бо ми його використовуємо, щоб не добитися максимально ефективних результатів, а "знайти порозуміння".
Навіть просто обшук/арешт - це не котик лапкою доторкнувся, це "не черговість перевірки". Але ці арешти-черговість в комбінації з false positives в решті системи - приводять до цілком помітного racism by impact (і не приводять до сексизму, що цікаво - це хоч і в першому приближенні статистика, але дуже цікаво, ні?).
А ось це зовсім не факт. Так, абсолюту досягти неможливо - але що заважає спробувати асимптотично наблизитися до нього?
Особливо в світі того, що знизити злочинність та incarceration rate одночасно - цілком реально (купа прикладів є в світі), а зниження incarceration rate (і заодно арештів/обшуків тощо) - веде до зниження кількості false positives (тупо by definition)? (А зниження злочинності парадоксально веде до зменшення кількості true positives, хехехе!)
(Зверни увагу, що я як раз апелюю до баєса та існуючої статистики, а не до анекдотів!)
Ні, аналогія погана - бо на відміну від копів та лікарів - fraud detection працює з обмеженою кількістю сигналів, і не може шукати додаткові сигнали on case by case basis - тому що їх просто нема де отримати. (Ціна отримання сигналу перевищує вартість послуги fraud detection.)
Більш того, аналогія погана тим, що fraud detection - це zero sum game. А правоохорона і охорона здоров'я - ні.
(no subject)
Date: 2022-09-19 06:52 am (UTC)Та ні, хороша :) За визначенням: я ж ліпше за інших знаю, до чого саме це аналогія :) А вона про речі, які повністю попадають в область перетину множин ознак полісінга в веб полісінга. Відмінності там теж є, хай я не погоджуся з з нульовосумністю чи аж настільки вищою обмеженістю сигналів останнього, але погоджуся, що різниця цих множин теж дуже ненульова.
Але, в цілому, я не можу позбутися відчуття, що ти сприймаєш всяке моє твердження через внутрішній діалог: "Те, що він каже, допомагає боротьбі з расизмом? - Ні. Значить, щось зі сказаним не так, зараз пошукаємо." (Я не стверджую, що ти так думаєш: це саме відчуття) Тому і намагаюся весь час посунутися в область, де ми менше зациклені на моральних оцінках результату, бо поки людина думає про мораль, вона не може нормально розглядати методологічну частину. Для будь якої моралі, хоч християнської, хоч комуністичної, хоч якатамунасзаразнаймодніша: принципи біології однаково вірні незалежно від того, чи вони конфліктують з Біблією, творами Леніна, чи поглядами лідера тіктоківських інфлюенсерів. Так само і тут.
З максими "всякий класифікатор [blah-blah-blah деталі] буде по відношенню до когось несправеливий, а спроба закодувати усунення несправедливостей в алгоритм класифікатора скорше псує речі, ніж поправляє" випливає дуже мало. І це мало я уже сказав. Все інше -- це хибні екстраполяції або не менш хибні інтерпретації. Зокрема, це не означає, що "нема расизму". Не означає, що всякий класифікатор хороший: ні, все можна покращити, але не всяким способом. Не означає, що весь профайлинг в реалі виправданий: ні, є купа проблем, але сам факт "несправедливого" outcome'у цього не доказує. Не означає, що не можна одночасно зменшити кількість арештів і злочинів: можна, включно з покращенням того, як поліція вирішає, кого запідозрити, але в першу чергу всякими іншими методами.
Взагалі, я думав, ти про останнє сам заговориш: це ж популярна (і вірна) думка в лівих і центристських кругах, що effective crime reduction happens not through the change in policing but by attacking the root cause of crime. В web security: ми в принципі не можемо бачити расу... ан, бач, все одно профайлимо негрів і гіспаніків, аж гай шумить. Адекванта поліція профайлить не за расою, а за сукупністю ознак..., але виявляється, що у них з расою сильна кореляція. Поки таке стається, розрізнити адекватну поліцію і зловмисних копів расистів на підставі лише статистики результатів неможливо. Зате базовий підхід до виправлення такої "ненавмисне несправедливої" статистики досить очевидний: замість понижувати планку класифікатора, руйнувати оті кореляції. Case study: web bank account appliction, де ми "дискрімінували" historically underbanked minority communities. Серед пари сотень сигналів-features в нашому алгоритмі найзначущіші за predictive value були сигнали, зав'язані на історію девайса/мережі. Без цих компонент, наш алгоритм був втричі менш чутливим, але, з іншого боку, саме ці риси були головними драйверами "дискримінації". З очевидних причин: в бідніших родинах частіше багто людей користуються одним компом чи планшетом, засмічуючи історію девайса; частіше не захищають нормально компи поки лазять лівими сайтами, ловлячись на malware botnet'и; ще пару зв'язаних з класом або освітою моментів. Можна боротися з цим, заставляючи банк відключити або бастардизувати шахрай-детектор, але від того гірше всім. А краще стане, якщо давати жителям бідніших кварталів додаткові девайси, напрокат або назавжди, проводити курси з комп'ютерної грамотності, роздавати безкоштовні антивіруси.. Другий підхід ефективніший і, на загал, дешевший, але він -- не про
policingкласифікатор. Але це вже я відійшов від теми, хоч і обіцяв собі не, тема закінчилася в попередньому абзаці.> Що важливіше - знайти розуміння, чи знайти дівчину, що може бути вкраденою?
Просто зауважу: цей аргумент прекрасно захистить купу дрібних поліцейських зловживань, які ти так критикуєш. Правильна ж відповідь на задане питання: важливіше прореагувати на ситуацію адекватно до комбінації можливих ризиків.
(no subject)
Date: 2022-09-19 03:16 pm (UTC)Приклади:
- "коп профайліть бігуна по кольору шкіри, а чорт, ні, коп профайліть по купі ознак" (ховати суттеві ознаки в реал-лайф прикладі - bad form, негарно, некрасиво).
- "засуджувати невинних - це злочин" (лолшто? чувак реально мене троллить чи пише з країни рожевих поні?)
- "копи не можуть використати гучномовці"
і так далі, і так далі.
Камон, бро. Ось ситуація - вкрали сумочку. Якщо потенційний вкрадач втече - то зайвої шкоди для пограбованої бабусі не буде. Додаткових ризиків в конкретній ситуації для конкретної жертви нема. Ось ситуація - пропала дитина. Якщо потенційний кіднепер втече - він може згвалтувати чи вбити дитину. Яка ситуація потребує більш інтенсивного втручання? А ти кажеш, гучномовець не можна увімкнути...
А ось це неправда. Можна дивитися на false positives. Якщо гарний коп арештовує виключно чорних злочинців, а невинних не чіпає, а поганий коп арештовує виключно чорних - вони оба намагаються максимізувати true positives (і другий може навіть бути більш ефективним, бо він витрачає менше часу на те, щоб відділити агнців від козлищ). Але різниця в false positives в них буде сувора.
(і ти з цим ніби то погодився, але повертаєшся до цього "не можна, не можна", що і викликає в мене питання з першого абзацу цього коментаря)
Більш того, казати, що позбутися зайвих false positives в питаннях -ізмів in good faith не можна. Позбулися ж сексизму в першому приближенні (рівень exoneration жінок приблизно рівний рівню incarceration, ~10% - на відміну від чорних, де ці рівні 52% та 38% відповідно).
(no subject)
Date: 2022-09-20 06:26 am (UTC)> прояснити "дискусія ведеться в bad faith чи людина дійсно не розуміється?"
От у мене таке ж враження, якщо під "bad faith" розуміти дискусію, коли замість готовності сприймати чужі аргументи і поправляти свою позицію, опонент відбивається всякими хитрими способами, базованими на логічних хибах. Хач і неспеціально. Якби ми вирішували тему "чи є расизм в поліцейських практиках (зокрема, профайлингу) США", то bad faith з мого боку був би очевидний. Але не якби. Показую:
> "коп профайліть бігуна по кольору шкіри, а чорт, ні, ...- bad form, негарно,""
Цитую оригінал: "...поліцейський знає, що штовхнули на землю стареньку жінку, забрали гаманця і тікають. Хто штовхнув -- не знає, але коли бачить, як одною і тою ж вулицею біжить чорний хлопець і біла дівчина, зупиняє перевірити хлопця. ... Мені не одна людина доказувала, що сам факт, що, не маючи точної інформації, хто грабіжник, поліцейський чинив саме так, свідчить про расизм поліцейських. А про сексизм не свідчить. " По-перше, "коп профайлить за кольором шкіри" - це екстраполяція. По-друге, про що приклад? Про те, як на описану ситуацію реагуює мій риторичний опонент а.к.а. "не одна людина", Цей опонент, як і ти, не знає, що саме на той час було в голові нашого копа (чи він зреагував на манеру бігти, одяг, стать, розмір чи колір шкіри, чи були тоді в Берклі reported подібні злочини), але вважає за можливе зробити однозначний висновок, що "коп расист, ... але не сексист". І на цю готовність публіки робити такі категоричні але непослідовні я скаржуся. Ну яка різниця, які там були ще деталі, для розмови про тих, хто цих деталей не знає? .... Ти бачиш, чому мені те, що ти робиш, виглядає як чистий hair-splitting? Відчасти, це моя вина, що почав відповідати, а не одразу наполіг на нерелевантності, але про це я вже бідкався. При цьому, я розумію, чому ти кажеш про bad faith враження зі свого боку: якби ми вирішували, чи расистським, чи ні, був конкретний вчинок конкретного копа, то мій підхід був би очевидно нечесним, такою собі комбінацією kettle logic і moving the goals.
> "копи не можуть використати гучномовці"
теж нерелевантно. Воно, звичайно, смішно, коли схематично розказану байку слухач заповнює уявними деталями і краще за автора знає, як там все було насправді, але нехай. Зважаючи на те, що це було поясненням думки "мене профайлили, але я на це не ображаюся", давай спростимо так: навіть, якщо коп вчинив непрофесійно і неоптимально, запрофайливши мене, замість одночасно опитати усіх людей з дітьми, але я все одно не ображаюся.
> "засуджувати невинних - це злочин" (лолшто?
ОК, тут я не відреагував: я уже переключився в режим розмови про класифікатора, і від ліні замість "небажаний outcome" написав, що простіше, з точки зору поняття ROC curve воно все одно. Каюся, назвати false positive саме "злочином", якщо за нього не переслідують кримінально, а лише премію недодатють, чи що, insensitive of me, я можу собі це позволити, бо у мене ризик бути несправедливо засудженим без порівняння нижчий.
> Якщо потенційний вкрадач втече - то зайвої шкоди для пограбованої бабусі не буде.
> Додаткових ризиків в конкретній ситуації для конкретної жертви нема. Ось ситуація -
> пропала дитина. Якщо потенційний кіднепер втече - він може згвалтувати чи вбити дитину ...
(a) Цікаво, що, обурюючись "приховуванням" нерелевантної інформації про грабіжника, ти проігнорував релевантну інфу, що злодій штовхнув старшу жінку на землю. Признаюся, що я тут особа упереджена: 20 років тому в аналогічному сценарії сильно постраждала моя мама, наслідки TBI так і до кінця не пройшли, психотравма теж. Того дле мене між "штовхнути додолу" бабусю і "вдарити ножем" різниця є лише кількісна, але не якісна. Але і без моїх упереджень, на фоні сумної періодичності новин про те, як чорні підлітки штовхають і б'ють, грабуючи, старших жінок, я би не применшував мотивацію впіймати злочинця, який не лише вкрав, а і здійснив physical assault of a senior.
(b) Основне тут, звичайно, -- (не)релевантність, але цікаво погратися в імовірності З урахуванням, що для невеликих відрізків часу "пропала" дитина практично завжди означає, що вона поряд подружкою/сусідкою, не сказавши мамі, або заховалася і плаче чи злиться, або, дуже рідко, загубилася чи забилася. Шанси що це був кіднеппінг надзвичайно малі. Далі можна брати різні значення цих мікроскопічних шансів, множити шанси зловити при різних ходах копа, і дивитися результат. У мене є обгрунтована підозра, що вищим буде шанс, що перший попавший чорний підліток на оклендській вулиці є злочинцем і прямо зараз робить або має при собі щось нелегальне. Тобто, я майже впевнений, що це так, і що саме звідси ростуть ноги реально проблемного профайлингу у виконанні місцевих копів: занадто легко набирати гарну статистику впійманих злочинців, просто шмонаючи на вулиці усіх, хто не пройшов примітивний фейсконтроль.
Весь комент вище, це було зауваження "на тему регламенту", нічого релеватнтного до того, що я пробував доказати, тут нема. Релевантне у тебе в останньому абзаці, відповім окремо
(no subject)
Date: 2022-09-20 06:28 am (UTC)>> расистів на підставі лише статистики результатів неможливо...
> А ось це неправда. Можна дивитися на false positives.
You got a point. "неможливо розрізнити" це з розшифровка формальної тези, в такій спрощеній формі воно, справді, дискутабельно. Тобто, чисто формально, доказати все одно не можна -- різниця в кілкості false positivies рудих vs лисих між двома поліцейськими щось покаже лише тоді, якщо вони будуть мати однаковий за кольором волосся і злочинами розподіл потенційних підозрюваних. Але буде сильним статистичним аргументом. Захищати я готовий чисто статистичний аргумент. Хотів його оце написати, але бачу ще комент. Зараз постну ці відповіді (дві години писав, з перервами на серйозні розмови і читання казок дітям) і закінчу там.
(no subject)
Date: 2022-09-20 03:21 pm (UTC)Ні, я її не проігнорував. Це ніяк не змінює того факта, що шкода для жертви ВЖЕ задана, ВЖЕ трапилася, на відміну від потенційної шкоди для жертви при кіднепінгу. Розумію, це звучить цинічно, пробач за відсутність коментаря на цю тему - але ж ми тут про статистику і ймовірності, а не про анекдоти?
Ось тут не згоден - бо коло "потенційних підозрюваних" це невизначена множина. Для гарного копа коло потенційних підозрюваних це "підозрювані, дані про яких отримані від інформантів, або на яких вказують докази". Для поганого копа це "усі чорні підлітки". Це навіть коли вони працюють в одному районі, де злочини та злочинці те ж самі!
Тому замість кола "потенційні підозрювані" має сенс дивитися на коло "реальні злочинці" і на false positives при їх виявлені.
Хе, якщо так подумати, КОЖЕН є злочинцем. Я знаю, за що можна посадити мене. Я знаю, за що можна - без жартів - посадити тебе!
Більш того, якщо нас саджати ліньки, бо просто шмону недостатньо - то щось нелегальне можна з не меншою ймовірністю знайти, просто шмонаючи усіх в черговому стенфордському фратхаузі чи на в'їзді на Бьорнін мен.
І той факт, що копи не поспішають наводити ТАМ шмон - може бути аргументом не тільки за racism by impact, до intent-у теж питання виникають. :) Але це вже лірика.
Повертаючись до ймовірності кіднепінгу - це правда. Більш того, навіть коли мова йде про реальний кіднепінг, то злочинець частіше за все - хтось з родини.
АЛЕ це аж ніяк не змінює картину, що кіднеперів ловити треба, тому що ризик додаткової шкоди є. І ніяк не змінює того факту, що відмова від профайлінгу там де можна (те саме використання гучномовця) - суттево підвищує шанси їх піймати при незмінних витратах.
Тобто коп який в такий ситуації профайлить, коли може не профайлити - все одно лінива падла, яка неефективно витрачає МОЇ гроші як платника податків, і створює додаткові ризики для жертв як мінімум там, де їх можна не створювати.
(no subject)
Date: 2022-09-20 04:58 am (UTC)І раз ми пішли в оффтоп, то я не можу не пригадати, як таку проблему вирішували українські банки. Як сам розумієш, в плані фрода Україна нульових - те ще місце.
Але це зараз всюди МЛ - і коли в тебе в руках молоток, все інше здається схожим на цвяхи. А тоді таких фенсі слів там банки не чули - тому проблему з фродом вирішували просто, по пролетарські.
При розрахунках в онлайні - в хід йшло все що завгодно, від копійчаних OTP-токенів до ще тупішого підтвердження транзакцій через банк, аж до необхідності банк попереджати заздалегідь. Зараз деякі американські банки починають підтягуватися - починають робити двофакторну аутентифікацію для підтвердження ризикових транзакцій. Ну, таке, кращі пізніше, ніж ніколи, але все одно - вчорашній день...
А в офлайні все було ще простіше: ПІН-код, без в якого реалі не розрахуєшся, і ніякого тобі фроду. :) А американські банки сами собі вигадали проблеми, тримаючись руками та ногами за застарілі PIN-less картки. І самі героїчно їх вирішують - замість того, щоб перейти до більш безпечної системи з меншим рівнем дискримінації та більшим рівнем безпеки.