Слухай, я таки не розумію, що ти від мене хочеш... або ти не розумієш, що кажу я..., але нема сили розбиратися. Одне знаю точно: це все по регламенту, а не по суті, тому на це можна забити. (А що я вірю, що ти не зі зла оце розвів, і, сподіваюся, ти аналогічної думки, то забити на цей шматок розмови можна з легким серцем.)
Перейду до основного, але, на всякий випадок, уточню базові терміни, бо, може, собака порилася саме тут.
Значить, перше: все, що робить поліція, або веб сек'юріті, або loans department -- це профайлинг і нічого іншого, за визначенням зі словника: ми використовуємо відомі змінні параметри (features) xi, щоби визначити невідому "істину" (злочинець/шахрай/віддасть гроші). В принципі, поліція часом може знати істину, спостерігши злочин в процесі, але тривіальні випадки я одразу виключив. Ще додам, що в правохороні процес багатоступінчатий. Я говорю лише про першу ступінь "поліція зупнияє перевірити", тим більше, уже цю ступін лають за проблеми. Наступні ступені, як то арешт, слідство, прокурорське звинувачення і суд, які, по ідеї, встановлюють істину, занадто сильно ускладнюють все різними варіантами зловживань, упереджень і точок контролю. 2: "використовуємо змінні" у визначенні профайлінга не означає заміну істини чимось одним, "лисий => шахрай", а лише "включаємо в модель", ступінь впливу може бути мінімальна. 3: профайлинг без додаткового означення, шкідливість якого ти стверджуєш, що доказав, це "расовий профайлинг", так? Тобто, раса стає одною зі змінних класифікатора "cop's brain": xраса ∈ {white, black, ...etc}. 4: Можливих результатів одної класифікації є чотири: не зупинили невинного, true negative; зупинили винного, true positive; не зупинили винного, false negative ; зупинили невинного, false positive. Сумарні кількості в кожнному сценарії, відповідно, TN, TP, FN, і FP. В цих термінах, задача класифікатора досягти максимальної чутливості S = TP/(TP+FN) при мінімальній частоті помилок першого роду FPR = FP/(TN+FP) або максимальній влучності P = TP/(TP+FP). У випадку поліції мова може іти лише про влучність, кількість TN майже ніколи не оціниш. 5: "несправедливість класифікатора", "поганий імпакт" чи "расистський ауткам", словом, те, що ми критикуємо, це про ситуацію, коли влучність Pblack, порахована для предтавників xраса=black значимо менша, ніж Pwhite для предстаників xраса=white. Ну, або, коли влучність для "дискримінованої" раси менша, ніж для усієї демографії. Нехай 6. Порівнюючи можливі сценарії, ми повинні щось фіксувати. Найчастіше, S (метрика, може бути лише загальна, бо ми не можемо знати расу усіх невпійманих FN)
Ніби, основне прописали. Якщо ти не сходишся зі мною у визначеннях і формулюваннях, то, значить собака порилася тут. Найчастіше некоректне формулювання, яке я знаю, це, наприклад, претензії не до Pwhite vs Pblack, а до абсолютних значень FPwhite vs FPblack у порівнянні до расового складу регіону. Сподіваюся, не треба пояснювати, чому до такого претензій висувати не можна?
Якщо ж з формулюваннями все ок, то я згоден захищати свою тезу: (а) При наявності кореляцій між xраса і істиною в попередній статистиці (training set), результуючий класифікатор буде "несправедивим" незалежно від того, чи ми використовуємо расовий профайлинг напряму чи ні. Можливо, виключення xраса зі вхідних змінних послабить рівень несправедливості, скажімо, зробить Pblack / Pwhite ближчим до одиниці, але за рахунок зменшення S. При цьому зловмисний расовий профайлинг, мотивований нелюбов'ю до рас, в цілому понизить P для тої ж S або S для тої ж P тобто, погіршить глобальний результат (б) Єдиним способом гарантовано змінити незловмисний класифікатор, враховує він xраса, чи ні, є ввести регулязаційний параметр, який буде силою заганяти Pblack / Pwhite поближче до одиниці, але такий підхід сильно зменшить максимально досяжні S і P і з великою імовірністю збільшить відмінність між Pi=1& і Pi=2 для якоїсь іншої змінної i
Твiй приклад про хорошого поганого копа мене вчора озадачив трохи, але це того, що я був сонний. (Я вже знову, але така карма, що вiдповiсти я ще вдень придумав). Ти просто додав нову ступiнь свободи, яку бiльшiсть класифiкаторiв не має, тому я i не описав її толком, довелося подумати: ти додав можливiсть експерименту. Можливiсть порiвняння статiв хорошого i поганого копа вимагає iснування гарантовано хорошого (а не iнакше упередженого) копа i, найосновнiше, можливiсть порiвняти їх дiї на такому самому iнпутi, тобто, щоби були ground truth був так само розподiлений по всьому, включно з расами. Звичайно, у вироджених випадках (один коп арештовує всiх негрiв) помiряти очевидно, але поза тим складно. Найкраща проксi: оцiнка статiв департаменту до i пiсля якоїсь змiни.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
(no subject)
Date: 2022-09-21 08:00 am (UTC)Перейду до основного, але, на всякий випадок, уточню базові терміни, бо, може, собака порилася саме тут.
Значить, перше: все, що робить поліція, або веб сек'юріті, або loans department -- це профайлинг і нічого іншого, за визначенням зі словника: ми використовуємо відомі змінні параметри (features) xi, щоби визначити невідому "істину" (злочинець/шахрай/віддасть гроші). В принципі, поліція часом може знати істину, спостерігши злочин в процесі, але тривіальні випадки я одразу виключив. Ще додам, що в правохороні процес багатоступінчатий. Я говорю лише про першу ступінь "поліція зупнияє перевірити", тим більше, уже цю ступін лають за проблеми. Наступні ступені, як то арешт, слідство, прокурорське звинувачення і суд, які, по ідеї, встановлюють істину, занадто сильно ускладнюють все різними варіантами зловживань, упереджень і точок контролю.
2: "використовуємо змінні" у визначенні профайлінга не означає заміну істини чимось одним, "лисий => шахрай", а лише "включаємо в модель", ступінь впливу може бути мінімальна.
3: профайлинг без додаткового означення, шкідливість якого ти стверджуєш, що доказав, це "расовий профайлинг", так? Тобто, раса стає одною зі змінних класифікатора "cop's brain": xраса ∈ {white, black, ...etc}.
4: Можливих результатів одної класифікації є чотири: не зупинили невинного, true negative; зупинили винного, true positive; не зупинили винного, false negative ; зупинили невинного, false positive. Сумарні кількості в кожнному сценарії, відповідно, TN, TP, FN, і FP. В цих термінах, задача класифікатора досягти максимальної чутливості S = TP/(TP+FN) при мінімальній частоті помилок першого роду FPR = FP/(TN+FP) або максимальній влучності P = TP/(TP+FP). У випадку поліції мова може іти лише про влучність, кількість TN майже ніколи не оціниш.
5: "несправедливість класифікатора", "поганий імпакт" чи "расистський ауткам", словом, те, що ми критикуємо, це про ситуацію, коли влучність Pblack, порахована для предтавників xраса=black значимо менша, ніж Pwhite для предстаників xраса=white. Ну, або, коли влучність для "дискримінованої" раси менша, ніж для усієї демографії. Нехай
6. Порівнюючи можливі сценарії, ми повинні щось фіксувати. Найчастіше, S (метрика, може бути лише загальна, бо ми не можемо знати расу усіх невпійманих FN)
Ніби, основне прописали. Якщо ти не сходишся зі мною у визначеннях і формулюваннях, то, значить собака порилася тут. Найчастіше некоректне формулювання, яке я знаю, це, наприклад, претензії не до Pwhite vs Pblack, а до абсолютних значень FPwhite vs FPblack у порівнянні до расового складу регіону. Сподіваюся, не треба пояснювати, чому до такого претензій висувати не можна?
Якщо ж з формулюваннями все ок, то я згоден захищати свою тезу:
(а) При наявності кореляцій між xраса і істиною в попередній статистиці (training set), результуючий класифікатор буде "несправедивим" незалежно від того, чи ми використовуємо расовий профайлинг напряму чи ні. Можливо, виключення xраса зі вхідних змінних послабить рівень несправедливості, скажімо, зробить Pblack / Pwhite ближчим до одиниці, але за рахунок зменшення S. При цьому зловмисний расовий профайлинг, мотивований нелюбов'ю до рас, в цілому понизить P для тої ж S або S для тої ж P тобто, погіршить глобальний результат
(б) Єдиним способом гарантовано змінити незловмисний класифікатор, враховує він xраса, чи ні, є ввести регулязаційний параметр, який буде силою заганяти Pblack / Pwhite поближче до одиниці, але такий підхід сильно зменшить максимально досяжні S і P і з великою імовірністю збільшить відмінність між Pi=1& і Pi=2 для якоїсь іншої змінної i
Твiй приклад про хорошого поганого копа мене вчора озадачив трохи, але це того, що я був сонний. (Я вже знову, але така карма, що вiдповiсти я ще вдень придумав). Ти просто додав нову ступiнь свободи, яку бiльшiсть класифiкаторiв не має, тому я i не описав її толком, довелося подумати: ти додав можливiсть експерименту. Можливiсть порiвняння статiв хорошого i поганого копа вимагає iснування гарантовано хорошого (а не iнакше упередженого) копа i, найосновнiше, можливiсть порiвняти їх дiї на такому самому iнпутi, тобто, щоби були ground truth був так само розподiлений по всьому, включно з расами. Звичайно, у вироджених випадках (один коп арештовує всiх негрiв) помiряти очевидно, але поза тим складно. Найкраща проксi: оцiнка статiв департаменту до i пiсля якоїсь змiни.