Amazon знищив свою програму для «кадровиків».
Давно чути застереження, що ШІ необхідно навчати на вибірці, ретельно перевіреній на наявність упередженостей, щоб уникнути небажаних наслідків роботи ШІ. І це не просто слова - компанії Amazon довелося знищити свій інструмент із сортування резюме через те, що його навчали на сексистському досвіді працевлаштування останніх десяти років.
Багато інструментів Amazon стали успішними завдяки вдалій автоматизації, наприклад - сервіс e-commerce. Однак у випадку з сортуванням резюме і виділенням найбільш талановитих і відповідних кандидатів автоматизація поки не дуже - інструмент, який потай розробляв з цією метою Amazon, знищили, коли виявили його упередженість по відношенню до жінок, повідомляє Reuters.
Інструмент був в роботі з 2014-го року, над ним працювала команда ШІ-розробників. Передбачалося, що програма зможе сортувати резюме, даючи їм оцінку від 1 до 5, на зразок того, як ми оцінюємо товари в інтернеті. "Всі хотіли отримати цей Святий Грааль. Вони реально хотіли, щоб ця програма отримувала на вхід 100 резюме і мала на виході п'ять кращих, яких би вони найняли ", - розповів Reuters один з членів проектної команди.
У 2015-му році розробники з'ясували, що їхній інструмент - сексистський, він автоматично знижує позиції жінок у рейтингу просто тому, що вони - жінки. Так вийшло через те, що він був навчений на вибірці кар'єрних просувань за останні 10 років, а у людей є доведена упередженість в цій області. Джерело: Reuters.
Amazon став шукати рішення проблеми, але, як виявилося, це не так просто - ШІ знаходив нові способи і кореляції між підлогою і успішністю у вибірці. Тому на початку року роботу над проектом вирішили зупинити. Зараз же і весь проект вирішили знищити - щоб нікому в руки не потрапив недосконалий інструмент, здатний нашкодити. Адже якби проект потрапив у треті руки, його могли б поширити серед «кадровиків». А згідно з опитуванням, проведеним у 2017-му році CareerBuilder, у США 55 відсотків «кадровиків» з нетерпінням очікували виходу на ринок подібного ПЗ, і, можливо, вони б не побрегували їм через одну «невелику» нестачу.
Нагадаємо, що минулого липня було виявлено, що інший інструмент Amazon - з розпізнавання облич - міг неправильно ідентифікувати людину, якщо він був не європеоїдної раси. Упередженість ШІ такого типу потенційно може бути присутньою в будь-яких ШІ-програмах, навчених на патернах поведінки людей, тому якість і безпека таких програм потребує особливої оцінки.