Про біженців та статистику
Sep. 15th, 2022 10:00 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mprotsenkoЯ безмежно вдячний усім країнам, які приймають українських біженців. Мені навіть соромно за різницю у ставленні до українців у порівнянні з, наприклад, сирійцями.
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
Але тут мені в очи кинувся чисто статистичний чинник, чому і українці можуть справляти інше враження, ніж інші біженці. І я навіть не буду лізти в культурні відмінності - тим більш, що середньостатистичний (!) українець (!!) як раз не взірець освіти та культури, на жаль.
Чому я зробив фокус на слові "українець"? Саме на маскулінативі? Тому що Україна заборонила виїзд самої кримінальної, самої проблемної групи (з точки зору статистики) - чоловікам від 18 до 60.
Цікаво, реально це впливає на імідж чи загальний про-український нарратив міг би і цю різницю знівелювати?
(no subject)
Date: 2022-09-21 08:00 am (UTC)Перейду до основного, але, на всякий випадок, уточню базові терміни, бо, може, собака порилася саме тут.
Значить, перше: все, що робить поліція, або веб сек'юріті, або loans department -- це профайлинг і нічого іншого, за визначенням зі словника: ми використовуємо відомі змінні параметри (features) xi, щоби визначити невідому "істину" (злочинець/шахрай/віддасть гроші). В принципі, поліція часом може знати істину, спостерігши злочин в процесі, але тривіальні випадки я одразу виключив. Ще додам, що в правохороні процес багатоступінчатий. Я говорю лише про першу ступінь "поліція зупнияє перевірити", тим більше, уже цю ступін лають за проблеми. Наступні ступені, як то арешт, слідство, прокурорське звинувачення і суд, які, по ідеї, встановлюють істину, занадто сильно ускладнюють все різними варіантами зловживань, упереджень і точок контролю.
2: "використовуємо змінні" у визначенні профайлінга не означає заміну істини чимось одним, "лисий => шахрай", а лише "включаємо в модель", ступінь впливу може бути мінімальна.
3: профайлинг без додаткового означення, шкідливість якого ти стверджуєш, що доказав, це "расовий профайлинг", так? Тобто, раса стає одною зі змінних класифікатора "cop's brain": xраса ∈ {white, black, ...etc}.
4: Можливих результатів одної класифікації є чотири: не зупинили невинного, true negative; зупинили винного, true positive; не зупинили винного, false negative ; зупинили невинного, false positive. Сумарні кількості в кожнному сценарії, відповідно, TN, TP, FN, і FP. В цих термінах, задача класифікатора досягти максимальної чутливості S = TP/(TP+FN) при мінімальній частоті помилок першого роду FPR = FP/(TN+FP) або максимальній влучності P = TP/(TP+FP). У випадку поліції мова може іти лише про влучність, кількість TN майже ніколи не оціниш.
5: "несправедливість класифікатора", "поганий імпакт" чи "расистський ауткам", словом, те, що ми критикуємо, це про ситуацію, коли влучність Pblack, порахована для предтавників xраса=black значимо менша, ніж Pwhite для предстаників xраса=white. Ну, або, коли влучність для "дискримінованої" раси менша, ніж для усієї демографії. Нехай
6. Порівнюючи можливі сценарії, ми повинні щось фіксувати. Найчастіше, S (метрика, може бути лише загальна, бо ми не можемо знати расу усіх невпійманих FN)
Ніби, основне прописали. Якщо ти не сходишся зі мною у визначеннях і формулюваннях, то, значить собака порилася тут. Найчастіше некоректне формулювання, яке я знаю, це, наприклад, претензії не до Pwhite vs Pblack, а до абсолютних значень FPwhite vs FPblack у порівнянні до расового складу регіону. Сподіваюся, не треба пояснювати, чому до такого претензій висувати не можна?
Якщо ж з формулюваннями все ок, то я згоден захищати свою тезу:
(а) При наявності кореляцій між xраса і істиною в попередній статистиці (training set), результуючий класифікатор буде "несправедивим" незалежно від того, чи ми використовуємо расовий профайлинг напряму чи ні. Можливо, виключення xраса зі вхідних змінних послабить рівень несправедливості, скажімо, зробить Pblack / Pwhite ближчим до одиниці, але за рахунок зменшення S. При цьому зловмисний расовий профайлинг, мотивований нелюбов'ю до рас, в цілому понизить P для тої ж S або S для тої ж P тобто, погіршить глобальний результат
(б) Єдиним способом гарантовано змінити незловмисний класифікатор, враховує він xраса, чи ні, є ввести регулязаційний параметр, який буде силою заганяти Pblack / Pwhite поближче до одиниці, але такий підхід сильно зменшить максимально досяжні S і P і з великою імовірністю збільшить відмінність між Pi=1& і Pi=2 для якоїсь іншої змінної i
Твiй приклад про хорошого поганого копа мене вчора озадачив трохи, але це того, що я був сонний. (Я вже знову, але така карма, що вiдповiсти я ще вдень придумав). Ти просто додав нову ступiнь свободи, яку бiльшiсть класифiкаторiв не має, тому я i не описав її толком, довелося подумати: ти додав можливiсть експерименту. Можливiсть порiвняння статiв хорошого i поганого копа вимагає iснування гарантовано хорошого (а не iнакше упередженого) копа i, найосновнiше, можливiсть порiвняти їх дiї на такому самому iнпутi, тобто, щоби були ground truth був так само розподiлений по всьому, включно з расами. Звичайно, у вироджених випадках (один коп арештовує всiх негрiв) помiряти очевидно, але поза тим складно. Найкраща проксi: оцiнка статiв департаменту до i пiсля якоїсь змiни.
(no subject)
Date: 2022-09-25 04:07 am (UTC)That's a good question, насправді. На тактичному рівні - я пропоную не приховувати суттєві деталі прикладів, які змінюють їх суть. На стратегічному - уважніше ставитися до термінології та формулювань, коли мова йдеться про чутливі теми. (Як це робити? Ну, можна робити "заміну на українця" - навіть проблема поліцейського утиску в нас була, і зараз трапляється... Якщо формулювання про українців звучить погано - то і для інших рас його треба переформулювати, ні?)
Придумав, як навіть в термінах training set показати проблему. Давай уявимо training set, де практично нема true negatives (копи фокусуються на злочинцях - це природно). В цьому сеті є ознака - раса, хай буде 90% чорних злочинців. Якщо ми натреновану на цій статистиці модель застосуємо до загальної популяції, де справжніх злочинців серед чорних менше відсотка, то яка буде ефективність цієї моделі? Отож бо! (Про тип моделі я навіть казати зараз не буду - вона буде лажати в будь-якому випадку)
Що нам треба робити, щоб удосконалити цю модель. Потрібно вводити негативний зворотний зв'язок, щоб кожен false positive змінював відносні ваги ознак, наближуючи їх до реальної картини. А де в нас в реалі цій зворотний зв'язок?
- Коп отримує догану за занадто велику кількість false positives? Хоча б поїде на ретрейнінг? Ні, про що ти.
- Коп заплатить за шкоду, яку його помилки нанесли невинним? Хоча б не напряму, а через personal liability insurance? "Индейская народная изба, фигвам называется."
- Коп отримує подяку/нагороду/підвищення за збільшення true positives? Так, звісно.
See where I am going? Бачиш проблему з моделлю?
Окремо трохи занудства щодо термінів та тез:
1) "Порівнюючи можливі сценарії, ми повинні щось фіксувати." На відміну від онлайн-сек'юріті-профайлінгу, де є обмежена, хоч і велика кількість сигналів - в реалі ми можемо бути більш гнучкими, навіть оперуючи меншою кількістю сигналів. (Гучномовець для тотальної перевірки замість профайлінгу - чудовий приклад, як не захищай небажання копів ефективно працювати. Я тут не жартую - такой простий приклад чудово ілюструє, як можна щось змінювати на краще, не витрачаючи додаткових ресурсів, та не граючись вагами окремих метрик. )
Більш того, якісна детективна робота будується не на масових матмоделях і метриках - бо найкраща матмодель визначення переможця перегонів ламається на "парадоксі зламаної ноги".
2)
Перш за все, це коли влучність P(race) настільки мала, що використовувати її немає сенсу, бо від використання більше шуму, ніж сигналу. (Вибірковість застосування зараз залишимо за дужками - сконцентруємося лише на аспекті ймовірностей.)
Тоді замість "регулязаційного параметру", неякісну ознаку можна (і треба) просто брати інші ознаки. Які хоч і можуть корелювати з расою, але принципово відрізняються від неї. Наприклад, замість "running while black" можна використовувати ознаку "running while wearing wrong kind of attire".
(no subject)
Date: 2022-09-26 06:28 pm (UTC)> ... не приховувати суттєві деталі прикладів, які змінюють їх суть.
Я так і не бачу, які "приховані" деталі прикладів хоч щось поміняли в рамках тих тем, ілюстраціями до яких ті приклади були
> ...уважніше ставитися до термінології та формулювань, ...
> коли мова йдеться про чутливі теми.
??? Ми про одне і те ж саме говоримо? Кого ми чим ображали? Ти не плутаєш це з іншою дискусією?
> ... як навіть в термінах training set показати проблему...
(а) якщо неясно, про що я тут бідкався, то конкретизую: я не впевнений, що саме ти називаєш "проблемою" в контексті нашої розмови. У чому моя "проблема", я і писав уже, і ще уточню нижче.
(б) Половина того, що ти написав, ніби, ок: так, якщо в тренувальних буде більше представників одної з рас, то з великою імовірністю, модель в реалі буде їх більше ловити, я якраз про це і говорив. При цьому, воно буде так навіть у випадку, якщо расу напряму не міряти.
> практично нема true negatives (копи фокусуються на злочинцях - це природно)
Тут не зрозумів. True negative -- це людина, яку поліція "могла би перевірити (зупинити, обшукати, whatever), чи вона не злочинець" але не перевірила, і правильно. Якщо мова не про масові облави або зупинку кожної першої машини, то true negatives у нас завжди переважаюча більшість.
> ... вводити негативний зворотний зв'язок, щоб кожен false positive
> змінював відносні ваги ознак...
Все правильно, треба. Кожен-не кожен FP (не всяку модель можна і треба правити інтерактивно), але треба, звичайно. Все, проти чого я виступаю, так це щоби в рамках моделі по різному зважувати різні FP залежно від раси чи статі чи кольору волосся. "В рамках моделі" -- теж важливе уточнення: якщо можна якісь речі виправляти деінде, хоч обмежувати правоохоронну діяльність людей з explicit white supremacy agenda, хоч проводити якусь соціальну роботу, організацію, освіту серед меншин -- це все добре і потрібно, але це інша тема.
Тобто, ще раз: якщо ти хочеш мені доказати, що поліція недопрацьовує в плані надмірно легковажного ставлення до фальшивого обшуку взагалі, чи має якісь інші загально-методологічні внутрішні вади, то не треба доказувати, я вірю. Те ж саме з потенційною "гнучкістю".
> ... влучність P(race) настільки мала, що використовувати її немає сенсу ...
???
А як інакше ти можеш знати, що модель "несправедлива" залежно від раси?
Весь мій месидж тут і деінде в тому, що модель першого фільтру правоохоронної системи звинувачують у тому, що вона расово несправедлива на підставі того, як "вони" [ті, хто називає] інтерпретують статистику результатів моделі. Якщо не влучність, то яка метрика є підставою для такого звинувачення? Я не можу придумати іншої хорошої
Overall:
Ніяких претензій до звинувачень хоч поліції, хоч усієї системи у несправедливості з інших причин, крім статистики результатів, я не маю. Виключно тому і перейшов до web fraud прикладу, бо там, в силу фізичної неможливості зловмисного расизму, статистика результатів є усім, що "вони" бачать, що не заважає "їм" точно так само називати модель несправедливою.
Тобто, давай я далі дистилюю свою тему: я не маю думки і не збираюся вирішувати, чи поліції треба щось робити інакше, і як їм це робити інакше. Моя задача простіша: розібратися, звідки ми знаємо, що поліції треба щось робити інакше, і, відповідно, як ми будемо знати, коли можна буде перестати пред'являти їм претензії, що вони недостатньо пробують.
(no subject)
Date: 2022-09-28 03:45 am (UTC)Саме так - і тому невинні люди в training set не потрапляють (чи їх потрапляє нерепрезентативно мало) і, як наслідок, відсутність невинних в сеті зіпсувала той сет нафіг.
Вплив на невинних, я ж казав. Результати як false positives, які генерує система.
Але навіть у твоєму визначенні - результати як true positives - расовий профайлінг не працює. Більш, ніж не працює - він генерить результати, протилежні від тих, що нам потрібні.
Я вже колись наводив дані - обшуки знаходять частіше контрабанду (наркоту, зброю) в білих, ніж в чорних. Ось, швидко гугланув, хоча я тобі, якщо не плутаю, аналогічні дані вже наводив раніше.
https://www.fresnobee.com/news/local/article249300270.html
Тобто, виходить, що расовий профайлінг задає мало того, що задає більше шкоди невинним - так ще і МЕНШ ЕФЕКТИВНО знаходить злочинців. Цього достатньо, щоб показати, що поліції треба щось робити інакше - виходячи як і зі статистики, так і з того простого факту, що весь час та енергію, яку вони витрачають на расовий профайлінг, вони можуть витратити на пошук реальних злочинців?
А щодо претензій і їх припинення - якщо поліція припинить відмовлятися приїжджати на обшуки та на затримання хулиганів-крадіїв, то це буде вже серйозний прогрес, ггггг.
А якщо без жартів - то коли false positives rate відносно раси (які можна хоча б приблізно поміряти через exoneration rate) не буде мати расових перекосів, то можна буде казати, що копи арештовують-суди засуджують злочинців не дивлячись на расу.
Вони це вміють, до речі, коли йдеться про інші -ізми - гендерного перекосу не існує, так що умовну мізандрію копи цілком собі перемогли, ні?
(no subject)
Date: 2022-09-28 07:17 am (UTC)Та бачу, бачу. Але ти не бачиш, що цей приклад був наведений на зовсім іншу тему. Двічі повторену, повторюю втретє: тема прикладу критика практики, коли хтось, чуючи лише базову інформацією "коп побіг за чорним хлопцем, а не за білою дівчиною", вважає нормальним одразу характеризувати це, як расовий профайлинг. З додатковою умовою, що навіть якщо уявити цього хтося аутичним до ступеню "якщо в умові нема інших деталей, то їх і не було в реалі", то чомусь різниця "чорний/біла" йому дає право таврувати профайлинг, а "хлопець/дівчина" такого права не дає.
Розмови про статистичну ефективність вилізли потім, паралельно, по ходу вимог вилізли і деталі. Відповідно дивуюся я, не чому це X щось міняє в Y, а всього лиш звідки взялися претензії, ніби я негарно приховував якісь ознаки в прикладах з реалу
> невинні люди в training set не потрапляють
???
"training set" -- це не лише ті, кого поліція зупинила, а "всі, кого вона потенційно могла зупинити". Називати training set'ом лише праву колонку матриці невідповідностей (confusion matrix) -- нове слово в нашому бізнесі. Нове, але невірне. Невірно, коли це робиш ти, так само невірно, коли хтось робить висновки про класифікатор чи об'єкти класифікації (наприклад, про роботу поліції або про демографію злочинців).
> Результати як false positives, які генерує система.
Повторюю запитання: false positives ... що? Абсолютна кількість FP ? Кількість FP поділена на (FP + TP) ? Кількість FP, поділена на рік народження Фішера? Ще на щось? Друге, єслішо, це і є влучність. :)
> [Статистичні дані з графіком]
Хороша картинка, цікаво, що нею хочуть доказати. Ти мені колись показував, я подивився, не приглядаючись, а зараз придивився. Маю що сказати:
Ми, звичайно, не бачимо нічого, крім раси (якщо когось лаяти за "приховування деталей", то це тих, хто на підставі цеї картинки візьметься робити хоч якийсь висновок), але з ненайфантастичнішим додатковими допущенням, що копи обшуковували усіх, хоч трохи "підозрілих", і що ефективно знаходила контрабанду у тих, у кого вона була (іншими словами, низький False Negative обшуку), то вимальовується цікава картинка: серед усіх кого поліція вирішила зупинити, шанси мати "контрабанду" були у 2.5% чорних, 1.6% білих, 1.2% латиносів, і 1.3% білих. Тобто, поки ми не додаємо ніяких інших факторів, я б це назвав pretty good judgement by the police. Ну і, з використанням емоційно забарвлених термінів, дискримінацією всіх, крім чорних.
Але повторю основне, яке вище у дужках: з серйозними намірами таких висновків робити не можна, ніяких інших теж. В другу чергу тому, що ми не знаємо інших статистичних даних, які би дали нам можливість оцінити розподіл positives в демографії водіїв взагалі. А в першу чергу тому, що ми не знаємо ніяких інших причин зупинки і/або обшуку. (Ну, наприклад, якщо поліція має policy обшуковувави усі машини, які порушують правила стосовно рівня шуму, то ясно, чому чорних обшуковують більше, але це добре і правильно, я усіма руками за максимальне переслідування boom cars усіма доступними методами. Правда, боюся, це мої райдужні мрії, а насправді погані копи просто хочуть дістати противних чорних, а хороші копи використовують якісь інші риси, але результат виходить на одно.)
> ... МєНШ єФєКТїВНО знаходить злочинців ...
Та ні, реально, якщо допустити, що всі інші розподіли між рас однакові, і що копи зупиняють за колір шкіри, то попередня картина показувала би, що расовий профайлинг чорних більш ефективно знаходить злочинців. А поки вона просто нічого не показує.
> ... false positives rate відносно раси ... через exoneration rate ...
Ти ВПЕВНЕНИЙ в терміні? Саме FPR? Це чітко визначений термін. Як ти його будеш міряти?
> ... через exoneration rate ...
exoneration rate тут настільки ні до чого, що навіть не знаю. Він, взагалі, про тих, кого уже засудили, але неправильно, а не про тих, кого зупинили/обшукали. Якщо вже говорити про нього, то це не про поліцію, а про всю судову систему взагалі, плюс, треба вписувати conviction/acquittal rates, плюс купу всього іншого.
(no subject)
Date: 2022-09-28 06:40 pm (UTC)Так і тут це погана гра - якщо ти не даєш комусь повної інформації, і тобі не подобається його висновки, то не давати повну інформацію - нічим не краще, ніж робити ті висновки. (Так, я розумію, що це питання не тільки до тебе, но і до преси, наприклад, але тут цій приклад все одно наводиш ти).
В ідеальному всесвіті - так. А в реальному - всі (і ти у т.р.) фокусуються на того, кого спіймали, а не на популяції взагалі. Звідти і проблема.
По-перше, ти тут змішуєш дві речі - зупинку та обшук, і знову концентруєшся на true positives (продовжуєш тренуватися на цій частині сету?).
А якщо дивитися на false positives, то НЕефективність обшуків - сувора реальність. 70-76% є обшуків не ефективними, тобто коп помиляється 3 рази з 4, чи 2 рази з 3. Так собі good judgement.
Тут, звісно, можна казати, що, мовляв, краще обшукати зайву невинну людину, щоб знайти злочинця. Але в щирість цій тези я повірю, коли я буду бачити регулярні блок-пости на виїзді з Burning Man, коли кожної п'ятниці спецназ ATF буде штурмувати офіси на Wall Street, і кожного, хто входить на вечірку у фрат-хауз буде обшукувати поліція.
Але відсутність цих, без сумніву, ефективних мір, пахне вже чимось гіршим чим systemic racism AKA racism by impact.
(no subject)
Date: 2022-09-29 03:57 am (UTC)(а) Я правильно розумію, що свої претензії до мене про "замовчування деталей" ти знімаєш?
(б) Щодо претензій інших, враховуючи, що повноти інформації не існує в природі, це clever exuse для зовнішнього судді: "Я мав неповну інформацію, тому допридумав до повноти, як мені заманулося, тому моє судження таке!" Для виправдальних суджень це ок, але для звинувачувальних, я думав, ти сам таке не схвалюєш. Бо я у готовності звинувачувати в таких умовах бачу як мінімум недалекість, а скорше заангажованість. А якщо врахувати що за умов однакової (недо)інформованості судження про расову і статеву компоненту виходять протилежні, то ще і непорядність.
> А в реальному - всі (і ти у т.р.) фокусуються на того, кого спіймали, а не на популяції взагалі
Які "всі" і що означає "фокусуються"? Ти мене або тролиш, або використовуєш якесь неконвенційне значення поняття "training set"
> зупинку та обшук, і знову концентруєшся на true positives
Не "змішую з моментом зупинки", а уточнюю, про що мова. Зупинені машини там -- вхідна демографія, про незупинені вони, взагалі, мовчать. Відповідно, нічого не знаючи про те, кого і чому зупиняють, ми одразу втрачаємо можливість робити далекосяжні висновки. Це ж моя основна позиція -- ніяких нормальних висновків з цих цифр самих по собі зробити не можна, в принципі.
Цифри тут всього дві: відсоток тих, хто викликав підозру (того почали обшук) і відсоток тих, для кого підозра підтвердилася (знайшли)
Без додаткових допущень, вони нічого не означають взагалі.
З двома не надто притягнутими за вуха допущеннями (одне, що якщо шукають, то знаходять, друге, що існує критерій підозрілості, за яким вирішують обшукати), висновків два. Один: у чорних під критерій підозрілості попадає більше людей, хоч "контрабанда" є у меншого їх відсотка. Другий: у чорних в середньому більше наркоти. Другий частково пояснює перший перший навіть без знання деталей, хоча без знання деталей тут ми тикаємо пальцем в небо.
Деяка "несправедливість" ситуації, що у чорних рідше знаходять була би безсумнівною, якби обшуки проводилися в результаті рівномірно випадкової вибірки, причому, була би подвійною: шукають частіше, знаходять рідше. Ніяких свідчень про те, що поліцейські кидають расово зважені кості, я не бачу, а без цього ніяких звинувачень тут робити не можна.
А вже "неефективність" тим більше не сувора реальність, а незрозуміла фраза. Мало що ефективність -- це туманний термін, треба довизначити, так ще і жодних з осмислених методів її визначати без додаткових даних просто нема, тому див. вище про палець і небо.
> ... [не бачу] блок-пости на виїзді з Burning Man і т. п. ...
Я бачу, що ти повертаєшся у своїх словах до конкретних практик поліції, які можуть бути хороші або погані, присутні або відсутні, не хочу про них гворити. Але не бачу відповіді на питання, як саме виходячи лише з демографії всього населення, і демографії затриманих і виправданих vs засуджених злочинців ти пропонуєш робити хоч якісь судження про те, чи є у нас расовий профайлинг, чи нема. Якщо лише на підставі статистики ти про це говорити не готовий, то так і скажи, я відповім, що ура, погодилися.
До речі, коли я просив уточнити, чи тебе задовільнить саме однаковий false positive rate для різних рас. Нагадую: FPR = FP / (TN + FP)
(no subject)
Date: 2022-09-29 07:24 am (UTC)Да в мене ж не скільки претензія - скільки прохання. Ти ж сам запитав, що тобі зробити, я сказав - не пропускати важливих деталей. Навіть якщо мова про некоректні оцінки, то як я могу на цю тему дискутувати - якщо ти від мене повну картину приховуєш?
Для виправдовування будь-яких поліцейських практик використовується расова статистика по пійманим злочинцям. Саме ця статистика формує погляд і критерії підозрілості - хоча правильніше б було дивитися на популяцію в цілому.
Він мене задовольнить, але не сам по собі - а коли його FPR конкретного методу буде мати серйозний сенс, бо ці всі відношення зупинок/обшуків до реального результату - взагалі не вражають, а шкоду - як мінімум в вигляді витрачених грошей-часу задають, навіть якщо тобі на сам процес обшуку пофіг.
UPD: Це я повертаюсь до раніше озвученої тези - формально можна сказати, що будь-яка обробка будь-яких сигналів це профайлінг (навіть розшук конкретного Васі Пупкіна це профайлінг групи з розміром 1 :) ). Позбутися профайлінгу в такому випадку, звісно, нереально, але питання ефективності-влучності в окремих расових групах, насправді, вторинне у порівнянні з ефективністю конкретних методів профайлінгу.
(no subject)
Date: 2022-09-29 03:31 am (UTC)щоб не було перекосів по false negatives, поліція може робити дві речі:
1. тренуватися краще розрізняти злочинців від звичайних громадян (це піде на користь усім, в т.р. і білим - навіть в першу чергу білим).
2. приймати однакові міри до однакових груп ризику незалежно від кольору шкіри, матеріального становища тощо.
приклад до п.2 (перший пункт ми вже зі всіх боків обговорили) - якщо дійсно треба шукати наркотики, то кемпус Стенфорда треба саме так невибірково трусити в пошуках адеролу, маріванни та ЛСД, а уолл стріт - в пошуках кокаїну та грибів, як і гетто в Чикаго. якщо поліція цього не робить - то вона вже, виходить, хай і несвідомо, але дискримінує різні групи ризику.
(no subject)
Date: 2022-09-29 06:14 am (UTC)P.S. Стосовно останнього абзацу, я, до речі, лише за, щоби рівномірно густим гребінцем прочесали усіх, від кампусу Берклі до кампусу Стенфорда, і карали за законом, включно з покараннями за наркоту. Але це я, бо проти наркотиків, а так то ти, сподіваюся, ти в курсі, що ідея, ніби опортуністичне переслідування копами наркоманів за posession є основним драйвером арештів і ув'язнень, -- не більше, ніж байка, яка не має нічого спільного з реальністю?
(no subject)
Date: 2022-09-29 07:09 am (UTC)По-перше, коли копи оминають Стенфорд з Уол-Стрітом - це теж можна статистично порахувати. Починаючи зі статистики зупинок та обшуків.
А по-друге, то навіть якщо забути про те, що зайві обшуки невинних псують довіру до поліції та роблять її роботу менш ефективною - то все одно залишається питання до ефективності витраченого часу та грошей (про що я і казав, ні?).
Я ж підозрюю, що ми ж обидва хочемо, щоб копи максимально ефективно боролися зі злочинністю, і кожен обшук вхолосту - це мої гроші, які коп тільки що витратив неефективно (і за що він не отримає негативного зворотного зв'язку, якщо в нього це системна помилка, а не разова).
І гроші, я відмічу - немалі. Якщо коп отримує 120к + рання пенсія + овертайми + страховка + купа всього ще, а на виході три з чотирьох обшуків він робить без толку - то за що я плачу ці гроші? Особливо якщо інші показники теж не вражають?
Якщо комусь це норм (+ норм зайві обшуки невинних людей), аби б true positive ловилися би - то це просто розходження в аксіоматиці. Тоді можна і probable cause відміняти і прочосувати рівномірно густим гребінцем кожного взагалі, якщо зайві false positives це не проблема.
UPD: Є, правда, невеличка етична проблема - я знаю, за що можна посадити мене. Я знаю, за що можна посадити тебе. І якщо ми дійсно проти лицемірства, злочинів та за максимально ефективне використання ресурсів поліції, то що нам робити? (але то, напевне, тема вже не для публічних каналів...)
(no subject)
Date: 2022-10-03 07:43 am (UTC)Але це я підсумував свій висновок, зараз щось переконувати сил нема, може, через кілька тижнів я напишу про методи окремо, збираюся описати одну прочитану книжку.
(no subject)
Date: 2022-10-03 04:11 pm (UTC)ну як не було статистичних аргументів? статистично вплив на невинних (від обшуків до засуджень) і його різницю в залежності від раси я цілком показав.
і тут вже проблема аксіоматики - якщо шкоду для невинних ми ігноруємо, то все ок. якщо не ігноруємо, то навіть тій пари цифр вистачить для того, щоб її побачити.
(повні датасети та також саме можеш знайти у гуглі, вони там є - нема тільки часу в них копирсатися)
(no subject)
Date: 2022-10-03 05:19 pm (UTC)Ну, принаймні, це те, що я вважаю "чистсто статистичними аргументами" -- коли твердження сформульовано у вигляді абстрактних змінних,на місце яких лише потім, за бажанням, підставляють конкретні величини. Хтось інший може казати, що це я хочу неможливого, і це буде ок, precisely my point.
(no subject)
Date: 2022-10-03 05:40 pm (UTC)наявність, чи відсутність відповіді на нього - ніяк не скасовує того, що статистично помітний вплив на невинних є.
Більш того, що робити - я в загальних рисах розповів, і щоб прийняти рішення - треба домовитись саме про аксіоматику. (Чи є шкода для невинних важливим фактором, чи неважливим - якщо вона є неважливим, то my whole point is moot, і говорити нема про що. Якщо є важливим, то це вже наступний крок в розмові, і тут можна пробувати формалізувати ті речі, про які я раніше казав.)
(no subject)
Date: 2022-10-04 04:13 am (UTC)> ... статистично помітний вплив на невинних є....
Який вплив? Самоцитую:
" твердження сформульовано у вигляді абстрактних змінних,на місце яких лише потім, за бажанням, підставляють конкретні величини."
Цього поки не було, всі рази, коли я намагався дійти до цього формулювання, ми збивалися то на обговорення загальноморальних тверджень, то на гучномовці, то на ліві цифри з якоїсь газети.
(no subject)
Date: 2022-10-04 10:42 pm (UTC)Potatos, potatoes... Все одно це наступне питання, яке затягує нас на поле "бачиш проблему - тепер, давай, вирішуй її". Це не саме погане поле, це не брудна гра, але це окреме питання, і окрема проблема. (До речі, я не впевнений, що "робити не треба" - це коректне питання, бо якщо щось припинити робити, і нічого не почати робити замість того - то це може вийти саботаж).
Що до змінних, я казав - кількість false positives, хоч абсолютно, хоч відносно до загальної кількості перевірених. (Це різні, але пов'язані проблеми.) Далі дискусію можна та треба продовжувати тільки після визначення того, чи вважає це хтось проблемою взагалі, і наскільки він вважає цю проблему серйозною.
А що до абстрактних формулювань, які можна потім застосовувати, будь де, то тут, я боюсь - є велика проблема. Помилки в системі, яка опрацьовує добровільні транзакції != помилкам в системі, яка регулює недобровільне насильство. Помилки в системі, які можна виправити грошима != помилкам в системі, які спричиняють не-фінансову шкоду.
І так далі.
(no subject)
Date: 2022-10-05 01:17 pm (UTC)> є велика проблема.
Це не проблема, поки не йде мова про рішення, а про рішення я поки не хочу і не буду, поки не знаю, що у нас проблема.
> .... кількість false positives, хоч абсолютно, хоч відносно до загальної кількості перевірених.
О, now we're talking. Саме це я хотів почути.
Правда, на кілька коментів вище ти казав, що влучність дивитися не треба, хоча вона якраз і дорівнює одиниці мінус "FP відносно загальної кількості перевірених".
Але абсолютна кількість FP сама по собі нічого не каже. Допустім, сто чотири для раси А, вісімнадцять для раси Б, які висновки не будеш з цього робити?
Так що, думаю, ти таки про влучність. Я тоді ще раз перепитаю: ти хочеш, щоби вона була однакова для різних рас, чи тебе просто обурює факт, що поліція затримує когось, хто виявляється невинним? (Якщо критерієм вини брати рішення суду, бо інших, на жаль нема)
(no subject)
Date: 2022-10-05 04:12 pm (UTC)Мммм? сорі, цей сарказм занадто тонкий - бо at face value я зрозуміти це не можу, бо усі слова окремо мають значення, а в купі - фігня якась.
А ось тут я і питаю - чи вважаємо ми якусь дію проблемою чи ні. Наприклад, поліція безкарно вбиває execution style "сто чотири для раси А, вісімнадцять для раси Б" - і з цього можна зробити висновок, що поліція це йобане гестапо, і з цим треба щось робити. Більш того, я сподіваюсь, що тут ми розуміємо, що робити щось треба не уравнюючі кількість вбивств як абстрактну змінну, і таким макаром отримуючи расову рівність - єдина рівність, яка тут може бути, це 0.
При тому, якщо "18" - це непропорційно велика кількість (у відношенні до загальної популяції), то можна сказати поліція ще і займається системним расизмом, racism-by-impact, навіть, якщо вона це робить з найкращими намірами - і знайти точку, де треба чинити проблему в першу чергу.
Так, я навмисно роблю ескалацію від обшуків до вбивств - бо навіть якщо ти раз за разом відмовляєшся сказати, чи обшуки є проблемою, з вбивствами таке вже не вийде, так? (Якщо ти скажеш свою точку зору на обшуки - ми можем повернутися до них, це я не для того, щоб move the goalposts, а для того, щоб взяти ілюстрацію, де в нас є хоча б теоретична згода: "так, це проблема".)
Камон, бро! Інші критерії, насправді, є. Їх купа - від статистики поліції про обшуки невинних до здорового глузду. Ти ж не чекав рішення суду, щоб зрозуміти, що вбивство Нігояна та Індила - це вина поліції? Даром, що цих рішень аж і досі нема?
Не просто обурює - навіть, якщо відкласти емоції, я вважаю це марнотратством грошей та часу, яке, до того ж, шкодить решті роботи поліції незалежно від раси.
І я не просто хочу, щоб цій показник був однаковий для різних рас - бо підгонка показників це інша форма саботажу (а давайте обшукаємо трохи пенсіонерів в nursing homes і зробимо показник однаково великим). Я вважаю, що расовий розподіл тут допомагає нам зрозуміти, де саме в першу чергу поліції треба покращувати свою ефективність.
(no subject)
Date: 2022-10-10 06:54 am (UTC)> face value я зрозуміти це не можу,
Це не сарказм, а серйозно, мені зі свого боку так само дивно, що ти не можеш чи не хочеш бачити, що я пробую сказати. Я говорю про діагностику, ти не відділяєш її від лікування
Я: Хочу абстрактне формулювання
Ти: Ні, бо наслідки помилкової діагностики для випадку А і Б розрізняються.
Я: Це не грає ролі, бо ми говоримо про діагностику, а не лікування
Я не відмовляюся визнавати, що обшуки є проблемою*, я відмовляюся говорити про ступінь проблемності тесту чи його результату до того, як почую математичну сторону питання. Без проблем заміню обшуки хоч вбивствами, хоч блокуванням логіну або баном в соцмережі, байдуже. Для мене загадка, чому ти не вважаєш за можливе дати відповідь на питання "як, дивлячись лише на цифри результатів тесту X для рас A і B, можна сказати, що расу A несправедливо дикримінують порівняно з расою B" без того, щоби одразу ж перевести розмову на те, чим поганий тест X і як від нього страждають і A, і B. Тобто, ти часом щось згадуєш про цифри, але неповно і непослідовно.
> непропорційно велика кількість (у відношенні до
> загальної популяції)...
Минулого разу ти казав, що тебе хвилює непропорційно менша кількість знахідок серед обшуканих (precision). Оце от, що ти написав тут зверху, взагалі нічого не означає саме по собі. Я маю підозру, тебе хвилює більша кількість безрезультатно обшуканих відносно популяції (проксі для FPR, його нижньої межі). Але це дві дуже різні величини. Сподіваюся, ти не пропонуєш вимагати однакових FPR і precision одночасно?
> ... расовий розподіл тут допомагає нам зрозуміти, де
> саме в першу чергу поліції треба покращувати свою ефективність.
А ось тут +100. Як інструмент для додаткової самодіагоностики така статискика цілком доречна і дуже корисна
>... не просто хочу, щоб цій показник був однаковий для різних рас
недоречно і непотрібно. Тобто, з моєї точки зору висунення зовнішніми силами претензій до поліції з обґрунтуванням у вигляді такого "аналізу" статистики практично завжди є безграмотним і шкідливим.
* Якщо хочеш поговорити про проблемність обшуків, то я не проти, просто, я наполягаю, що це інша тема. А так, я згоден, що обшук належить до інвазивних тестів, тобто, таких, які мають негативний вплив на тестнованого. Ближче до блокування логінів, ніж до стрільби, хай не насмерть, але це моя суб'єктивна думка.
P.S. Відповідаю скорше по інерції, просто, щоб якийсь час не читати новини, якось воно забардзо.
(no subject)
Date: 2022-10-19 05:12 am (UTC)Ні-ні-ні, девід блейн. Я кажу про те, що абстрактне формулювання проблеми в різних системах - буде принципово іншим. Якщо доводити до абсурду, то якщо наслідки - втрачені гроші, то і діагностика проблеми принципово інша, ніж в випадку з високим ризиком для життя (наприклад, в результаті вироку суду, який може засудити до смертної кари). Реально ж - навіть критерії будуть принципово різні - preponderance of evidence vs resonable doubt.
А що до "несправедливо дискримінують" - так я уважно ставлюсь до формулювань. "Дискримінують" - звучить як свідома дія (що може бути, а може і не бути в реалі, цього нам статистика не може показати). А ось те, що невинні представники раси Х потерпають більше, ніж представники раси Y - це як раз статистично доведений факт.
А що це, свідома дискримінація чи системна проблема - вже окреме питання, статистика нам цього не каже, вона лише каже про наявність потерпання і необхідність щось з цим робити. (При тому "щось робити" != "підганяти метрики", бо сигнал - це не явище.)
(no subject)
Date: 2022-10-19 07:34 am (UTC)У нас різне розуміння мови. У моєму розуміння "абстрактне формулювання" за визначенням таке, що буде однаковим, якщо це така сама проблема. А якщо абстрактне формулювання буде іншим, то це інакша проблема. Якщо якийсь аспект проблеми не може бути сформульований абстрактними термінами, то це означає або, що проблема в першу чергу просто емоційна (ми незадоволені статусом кво, але толком систематизувати наше незадоволення в конкретну претензію не вийшло), або що ця проблема настільки складна, що всяка спроба відійти від конкретики неминуче щось псує. Я маю підозру, що тут перше (я не про тебе, а про весь дискурс). Якщо я неправилно підозрюю, і це друге, то я ок, таке можливо, але тоді ця складність з усіх боків: прості статистичні оцінки тут не працюють.
> ... невинні представники раси Х потерпають більше, ніж представники раси Y...
Я так і не зрозумів, що значить "потерпають більше". Більше відносно загальної кількості представників кожної з рас в нашому місті, чи більше відносно винних представників кожної з раз. Бо ти один раз писав одне, другий раз друге. Тобто, якщо взяти якийсь найпростіший, одноступінчатий процес (з машинами там процес двоступінчасатий, і у нас нема даних, щоби робити там якісь судження): зупинити в місті людину для обшуку, чи вона не крала сумочку (стріляла в когось, продавала наркоту, etc) Я цифр не маю, але думаю, що шанси попасти на такий обшук у чорного молодого чоловіка набагато вищі, ніж у людей інших рас або чорного дідуся або жінки. Далі, знову вгадую, нехай частка обшуканих, у яких щось знайшли, серед чорних хлопців трохи нижча, ніж серед названих інших категорій. Питання: яку з двох нерівностей ти вважаєш саме несправедливою расово (але не статево чи віково)?
> При тому "щось робити" != "підганяти метрики", бо сигнал - це не явище
Дякую. Це вже 50% успіху, багато хто якраз метрики і збирається підганяти
Мій поінт, правда, в тому, що в даному випадку і сам "сигнал" -- не обов'язково сигнал, що щось не так з поліцією. Тобто не лише метрики підганяти не треба, а і претензії за такий сигнал висувати треба не правоохоронній системі, але щоби розвинути цю тему, треба спочатку треба таки формалізувати, що саме нам не так.
> "Дискримінують" - звучить як свідома дія (що може бути, а може і не бути в реалі, цього нам статистика не може показати).
Статистика може показати досить багато, але лише як тактичний інструмент, найбільше, якщо дивитися на зміни/відмінності, коли дивишся в динаміці або порівнюєш правильно семплнуті когорти. Спроби застосовувати статистику для оцінок абсолютного значення ефективності, я вже мовчу про ефемерніші поняття типу "справедливості" на мій погляд, або просто безпонтові, або контрпродуктивні. Це я якось окремо напишу .. в абстрактніших термінах ;))
(no subject)
Date: 2022-10-19 03:47 pm (UTC)Не обов'язково. Це може бути етична проблема. Наприклад, етичні концепції, пов'язані з грошима - принципово інші від концепцій, пов'язаним зі здоров'ям чи життям. Тупо тому, що в першому випадку помилку можна фізично компенсувати, а в іншому - ні.
В даному випадку сигнал в цілому - як раз добре нам показує, що щось не так з поліцією. Бо навіть забуваючи про racial disparity, ми бачимо, що поліція тупо витрачає більшість часу та зусиль непродуктивно, дойобуючись до невинних громадян.
Security theater як він є. Бо якщо результат виправдовує false positives, то поліція винна в тому, що не застосовує ці засоби тотально, невибірково. А якщо не виправдовує - то нафіга ці засоби застосовувати in the first place?
(no subject)
Date: 2022-10-19 04:44 pm (UTC)Ти іншими словами повторюєш "настільки складна, що всяка спроба відійти від конкретики неминуче щось псує" , в даному випадку в ролі "псує" в смислі, що абстрактна модель (btw, "абстрактна", а не "пов'язана з грошима") не може адекватно передати якісь жахливі впливи на людей.
> ... забуваючи про racial disparity, ми бачимо, що поліція тупо витрачає більшість часу та зусиль непродуктивно ...
Поза темою disparity мене ця розмова не цікавить взагалі. Все, що мене цікавить, це в чому саме ця disparity полягає у світлі того, що racial вона є (і іншим очевидна) а sex- або age-based її нема? (Лінгвістично-семантичний оффтопік: от чому я "disparity" сприймаю в жіночому роді? Ось де сексизм!)
А загальні демографічно-незалежні принципи роботи поліції -- тема цікава і нагальна, просто інша, мені теж багато що не подобається, може, інше, ніж тобі. Я недостатньо володію темою, де закінчується роль поліції, а де починається роль всього іншого, хоч соціальних програм, хоч прокуратури і суддів, можу багато в чому помилятися. З конкретною ідеєю, що "90% обшуків нічого не знайшли" обов'язково означає "неефективність" я не згоден категорично, але то таке.
(no subject)
Date: 2022-10-19 05:26 pm (UTC)якщо ти пам'ятаєш - та статистика, яку я знайшов по гендеру (хоча вона і не по обшукам, але що є то є), таки показує, що статистично помітної sexual disparity не існує. якщо буде інша статистика, хоч по статі, хоч по віку - то, звісно, можна буде зробити висновок про існування disparity.
Тоді ти не можеш не погодитися, що поліція чинить несправедливість, не влаштовуючи тотальні обшуки. (Починаючи хоча б з обшуків в кампусах ФААНГу, Стенфорду та на Вол Стріт.) You cannot have it both ways - якщо воно ефективно, то його треба робити всюди, де можна. Якщо цього не робиться - тут є цілком обґрунтовані претензії до поліції, і тут ти не можеш їх заперечувати ні?
(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From: