![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mprotsenkoDefining equity in hiring (and everywhere else) is not as easy as it may sound - "equity" is not an established term and may be carry different meanings for different people.
I can see at least three ways to define equitable hiring process:
1) All groups are proportionally represented.
2) Candidates from all groups have the same false negative rate (fit candidates are not hired equally across all groups).
3) Candidates from all groups have the same false positive rate (unfit candidates are hired equally across all groups).
The funny fact is that implementing #2 and #3 looks suspiciously similar to affirmative action. Why?
Let say we have an imperfect proxy metric that defines future success and this metric has different distribution for different groups.
A really simplified example would be standard tests' scores - let's say we have group A with a limited resources to practice tests, tutors etc. The more talented students will still score higher.
On the other hand, in group B, where students have access to everything they can dream of, even dumb students can score higher than the best students from the group A.
However, in each respective group the score can still be a predictor of a long-term success - the best students from each group will achieve similar results in their careers. (Yes, yes, I am going on a limb here, but this is a simplified example - so please bear with me.)
If we define equity as #2 and #3 - then we would need to define different thresholds for different groups. It may sound counterituitive - but different thresholds can lead to equalizing opportunities for equally talented people with different access to resources, when we use an imperfect proxy metric to measure a probability of a future performance.
Any flaws in this logic? Comments/feedback are welcome.
I can see at least three ways to define equitable hiring process:
1) All groups are proportionally represented.
2) Candidates from all groups have the same false negative rate (fit candidates are not hired equally across all groups).
3) Candidates from all groups have the same false positive rate (unfit candidates are hired equally across all groups).
The funny fact is that implementing #2 and #3 looks suspiciously similar to affirmative action. Why?
Let say we have an imperfect proxy metric that defines future success and this metric has different distribution for different groups.
A really simplified example would be standard tests' scores - let's say we have group A with a limited resources to practice tests, tutors etc. The more talented students will still score higher.
On the other hand, in group B, where students have access to everything they can dream of, even dumb students can score higher than the best students from the group A.
However, in each respective group the score can still be a predictor of a long-term success - the best students from each group will achieve similar results in their careers. (Yes, yes, I am going on a limb here, but this is a simplified example - so please bear with me.)
If we define equity as #2 and #3 - then we would need to define different thresholds for different groups. It may sound counterituitive - but different thresholds can lead to equalizing opportunities for equally talented people with different access to resources, when we use an imperfect proxy metric to measure a probability of a future performance.
Any flaws in this logic? Comments/feedback are welcome.
(no subject)
Date: 2022-01-26 03:31 am (UTC)А то, все, що я знаю, це ідіотська картинка з трьома безбілетниками, які підглядають за футбольним матчем через паркан, стоячи на коробках, або купа туманних філософствувань, підозріло схожих на шкільне визначення комунізму.
(no subject)
Date: 2022-01-26 03:36 am (UTC)Але мене зацікавило, що рішення для двох з тих визначень - дуже схоже на affirmative action, хоча я впевнений, що автори affirmative action навіть не думали про це.
(no subject)
Date: 2022-01-26 07:04 am (UTC)Якщо ж допустити, що якесь поняття equity існує, просто ми його ще не сказали вголос, то, чисто технічно, перше визначення -- єдине нормальне (правда, такий equitable hiring process буде несправедливим і нікому не потрібним, але зате well defined). З другого і третього використовувати можна лише друге. Спочатку, правда, ще треба забрати слова false positives/false negatives, bo вони про апостеріорні виміри, а не визначення, але ти написав і через ймовірнвсть, тому все ок. Але що таке "fit/unfit candidate"? Якщо визначати через future performance, то фігня виходить, бо це не незалежна величина. Але мало, що залежна, а ще і апостеріорна, тобто, ми знаємо, коли ми найняли людину, яка turned out to be unfit, але ніяк не можемо поміряти, чи була би fit людина, яку би ми не найняли.
(no subject)
Date: 2022-01-26 07:24 am (UTC)Є слова, які залежать від контексту. Justice в контексті судового процесу та justice в розборі суперечки між тодлерами - різні, хоча і спорідненні поняття.
Тому, якщо хочеш супер-ретельно підходити - можеш переформулювати як "equity in the context of hiring process (and any other process that can be rephrased as selection of candidates based on imperfect proxy metrics)".
Звісно, можемо, ось дуже відомий приклад:
https://www.linkedin.com/feed/update/urn:li:activity:6528766848526278657/
можно питати, чи завжди це можна поміряти (відповідь - не завжди, але часто можна), але ж мова йшла про "ніяк".
(no subject)
Date: 2022-01-26 08:17 am (UTC)Добре, залишимо FP/FN. Але в плані необхідності визначення equity я не перегибаю. На відміну від justice, слово equity набагато менш базове. Ну і справедливість я тобі можу визначити, якщо не зараз, то точно, якщо я напишу пост про just hiring process, буду готовий розказати, що таке справедливість взагалі, і що, ось, пробую зрозуміти, як треба наймати працівників, щоби це було справедливо, і в чому різниця між справедливо as in just vs as in fair.
Тому, як би ти не визначав "equity in the context of hiring process" , це буде прекрасне визнечення..., але лише для тебе. А я визначу equitable hiring process як такий, коли кандидатові пропонують половину зарплатні в формі equity (RSU or stock options, depending on ownership), і це теж буде прекрасне визначення. Чи ти, все ж таки, мав на увазі щось конкретне? ;)
> Звісно, можемо, ось дуже відомий приклад
У кожного другого, як не першого, успішного професіонала є пачка байок про те, як на одній/другій/третій роботі у нього не виходило..., а потім вийшло. Як бути з таким? Звичайно, вірюм щи якась кореляція між результативністю в різних місцях знайдеться, але, по-перше, хоч якось помітно це буде лише на досить великих числах, а, по-друге, в умовах, коли ти відкидаєш залежність між проходженням співбесіди і перформансом, бо ця залежність може бути різна в різних груп, і дасть тобі помилку, то готовність толерувати в підрахунках помилку з переносу оцінок performance в Нетфліксі і Амазоні помножему на те, що ця різниця може по різному працювати для різних груп... Тобто, звичайно, всяка модель може виявитися вірною, може і тут, але якщо це так вийде, воно буде чистою випадковістю.
(no subject)
Date: 2022-01-26 08:38 am (UTC)Саме так - але і твоє визначення справедливості буде мати точно такі ж проблеми. :)
Прикол в тому, що визначення fairness/justice/equity/тощо - є виключно соціальними конструктами, які змінюються з часом, залежать від суспільства тощо. І проблематика їх визначення лежить не в математичній, а в соціальній та етичній площині - і це ті питання, де часто математиків наздоганяє Данінг-Крюгер. :)
Але це не значить, що не можна аналізувати особливості застосування кожного з визначень. І тут прикольно, що особливості #2 та #3 будуть дуже схожі на affirmative action (хоча цей збіг, я впевнений, цілком випадковий). Не більше, не менше.
Це питання скоріш схоже на learning curve - воно відрізняється від процитованого випадку принципово, бо тут мова йдеться про то, що перша робота таки була.
Ем, це вже схоже на тролінг заради тролінгу - бо усі визначення цілком конкретні. Можна казати про їх суб'єктивність - як і будь-яких соціальних конструктів - але що там неконкретного?
(no subject)
Date: 2022-01-26 07:34 pm (UTC)> .. визначення fairness/justice/equity/тощо - є виключно соціальними конструктами, ..
Саме тому я і кажу, що перше, ніж говорити з тобою про "справедливість при наймі", я готовий визначити, що саме я маю на увазі під словом "справедливість". Щоби, якщо ти ти під 'справедливістю' розумієш інше, міу вирішити, чи тобі цікаво говорити про справедливість мою, чи ти хочеш мені запропонувати своє розуміння, чи нема сенсу про це говорити взагалі.
>> щось конкретне?
> тролінг заради тролінгу
Ні в якому разі, це саме те, що написано вище. Я кажу, що не готовий говорити про equity, бо не маю цілісної картинки, що це таке, тому роблю судження лише технічно. Якщо хочеш, епістеміологічно :) Але ні, таки технічно, за своєю основною спеціальністю. А без додаткових уточнень, з технічної точки зору те, що ти робиш в другому і третьому варіанті, виглядає так:
а) Ти пробуєш визначити "щось" через те, яка статистична картинка мала би виникнути в результаті існування цього "щось".
б) Але кількісно ця статистична картинка визначається через змінну "future performance", яку не поміряєш на момент найму,
в) та і з настанням того future ти performance stats можеш оцінити лише в теорії, бо там невідомі помилки кількох видів.
г) Тим більше, сам факт застосування статистики дискретних класифікаторів (true/false positives/negatives) до неперервної змінної (performance) є сумнівним і часто контрпродуктивним, помилка дискретизації може легко міняти знак загальної оцінки (що гірше, найняти десять поганих працівників і одного Бухмюллера, чи не найняти всіх одинадцять?),
ґ) тому рано чи пізно до такої статистики треба буде додавати якесь чергове проксі типу інтегральних прибутків чи втрат працедавця,
д) які настільки сильно залежать від всяких зовнішніх факторів, що тим більше нема шансу впевнено виділити вплив на інтегральні прибутки помилок при наймі.
е) Далі ти переходиш до матеріальних проксі вимірів, доступних на момент найму, як то результати тестів.
є) Але ти знаєш, що ці виміри можуть мати різну ступінь кореляції з цільовою величиною "performance" для різних груп, тому кажеш, що доведеться визначати різні пороги проходження цих тестів для кожної групи,
ж) а це буде де факто affirmative action'ом, що тобі здається цікавим (а мені вчувається тон апостеріорного схвалення концепції affirmative action взагалі, ну, типу, "самі бачите, що це закономірний хід", але це мені вчувається, я мовчу :))
з) Розуміючи чи відчуваючи, що порахувати цільову змінну (див пункти б-д) не вийде, відповідно, визначати різні пороги результатів тесту доведеться, порівнюючи их до практично недосяжної уявної картинки, ти називаєш такий підхід неідеальним.
и) Я погоджуюся: так, неідеальний.
і) При цьому, локально цілком можуть існувати приклади реального рішення деяких з наведених труднощів, але як загальний рецепт дій, або, тим більше, загальне визначення, воно нічим не відрізняється від чистого суб'єктивізму.
Але це все чисто технічна оцінка процесу, будь які actionable речі є сенс обговорювати лише давши хоч якесь практичне визначення equity
(no subject)
Date: 2022-01-26 08:44 am (UTC)ось тут знову "сейчас немножко обидно было"
бо я ж в першому реченні написав: "Defining equity in hiring (and everywhere else) is not as easy as it may sound - "equity" is not an established term and may be carry different meanings for different people."
- Пане лікарю, мене ігнорують...
- Наступний!
(no subject)
Date: 2022-01-26 05:46 pm (UTC)так тому я спочатку і перепитав!
...
зараз в сусідньому коменті
(no subject)
Date: 2022-01-26 05:49 pm (UTC)Ем, де ж я відкидаю? Я ж ніби то написав як і про спрощену модель, так і про то, що інтерв'ю, яке використовує imperfect proxy metric - дає цю залежність, але неідеальну (тупо в силу визначення imperfect proxy metric).
(no subject)
Date: 2022-01-26 11:11 pm (UTC)(no subject)
Date: 2022-01-26 07:35 am (UTC)Насправді, все ще складніше - і перший процес може бути справедливим, і другий, і третій можна реально використовувати.
А головні складнощі лежать навіть не в визначенні fit/unfit candidates - а в визначенні груп. Плюс там ще є проблема інтерсекції цих груп - але це питання, яке притаманне не тільки проблемам equity, а будь-яким проблемам, які потребують формальної категоризації.