Схоже, зір автономних автомобілів теж можна обдурити.
Фахівці зі штучного інтелекту ніяк не прийдуть до єдиної думки про те, наскільки безпечні автономні автомобілі. Близько тижня тому вчені з Іллінойського університету в Урбані-Шампейні (University of Illinois at Urbana-Champaign) показали, що обдурити вбудовані нейронні мережі вкрай складно, тому що машина бачить об'єкти в різному масштабі і під різними кутами. Тепер їм відповіли колеги з некомерційної компанії OpenAI - у своєму пості вони розповіли, що створили картинки, які викликають збої з будь-якої «точки зору».
Повністю автономні автомобілі розпізнають об'єкти за допомогою нейронних мереж. Коли в поле зору камер потрапляє щось, мережі класифікують його як «знак стоп», «вантажівка» або, наприклад, «оленя». Кілька років тому фахівці з ШІ виявили, що нейронні мережі можна обдурити. Для певної мережі (або групи мереж) можна створити спеціальне змінене зображення, яке вона буде неправильно розпізнавати. У такому разі штучний інтелект може «подивитися» на фотографію і прийняти панду за гібона, а людина навіть не помітить, що картинка змінилася. Людині здається, що на обох фотографіях - панда. Але нейромережа GoogLeNet вважає, що на картинці праворуч - гіббон.
Незабаром виявилося, що такі зображення, відомі як «змагальні приклади» (adversarial examples), не втрачають своїх обманних властивостей і у фізичному світі. Наприклад, фахівці з Google Brain і некомерційної організації OpenAI роздрукували «неправильні» картинки на принтері, сфотографували їх звичайним смартфоном і прогнали через ПЗ для розпізнавання зображень. Нейронні мережі, як і раніше, помилялися, приймаючи бібліотеку за в'язницю, а пральну машину - за половик. А вченим з Університету Карнегі - Меллон (Carnegie Mellon University) вдалося обійти систему розпізнавання облич і видати себе за відомих людей за допомогою оправи для окулярів, оклеєного кольоровим папером.
Фахівці зі штучного інтелекту побоюються, що недоліками в роботі нейромереж зможуть скористатися зловмисники. Особливо вони турбуються за автономні автомобілі. "Тема з автомобілями представляє особливий інтерес в силу того, що автомобіль - це об'єкт підвищеної небезпеки і якщо в ньому з'явиться чорний ящик, який можна таким чином обдурити, то це ризики ", - пояснює фахівець з технологій машинного навчання і технічний директор компанії Intento Григорій Сапунов. і ризики того, що автомобіль сам по собі може неправильно зреагувати на якусь ситуацію, і ми заздалегідь не знаємо яку (і до того ж ми до кінця не розуміємо, на що саме він взагалі реагує). Тобто потенційно під загрозою людські життя і здоров'я, це недобре. Виходить, що виробник не може дати жодних гарантій ".
Але вчені з Іллінойського університету в Урбані-Шампейні вважають, що боятися нічого і безпілотникам «змагальні приклади» не страшні, тому що камери рухомого автомобіля бачать предмети з різних кутів і в різних масштабах. 12 липня вони опублікували статтю з описом експерименту: на дорожні знаки наклеїли картинки-обманки, зовні схожі на звичайні сигнали «стоп». Повз проїхав автомобіль, оснащений відеокамерою - отримане зображення надходило прямо нейронним мережам. Результати показали, що в більшості випадків ШІ вірно запізнюється знак - він помилився тільки в парі кадрів, прийнявши «стоп» за м'яч. Вчені пояснили це тим, що автомобіль більшу частину часу знаходився занадто далеко від дорожнього знака, і камера просто не могла розгледіти зміни картинки, які обдурили б комп'ютер. Вони дійшли висновку, що в реальному світі, де предмет можна розгледіти з різних кутів і на різних дистанціях, турбуватися про «змагальні приклади» немає необхідності.
Через п'ять днів на цю наукову роботу відгукнулися фахівці OpenAI. Дослідники написали пост у блозі і розповіли, що їм вдалося отримати зображення, яке нейромережі із завидною постійністю невірно класифікують - під яким би кутом на нього не «дивилися». Вони надрукували на звичайному принтері милу фотографію кошеняти серед зелені, але ШІ приймав його за «настільний комп'ютер» або «монітор» як би його не повертали і не збільшували. "Коли автори попередньої роботи запропонували просте рішення, нам стало цікаво відтворити результати самостійно (і якоюсь мірою нам це вдалося). Тоді ми захотіли дізнатися, чи може зловмисник обійти ці обмеження, і виявили, що це можливо ", - розповів виданню Quartz співробітник OpenAI Аніш Аталі (Anish Athalye).
«Попередня робота аргументувала, що автомобілі захищені від таких проблем (тому що камер багато, вони дивляться з різних ракурсів тощо), але поточна робота показує, що проблема залишається», - коментує Сапунов. І за його словами, вона стосується не тільки автономних транспортних засобів. "У багатьох місцях, де нейромережі використовуються для аналізу зображень (визначення товарів, системи безпеки, і т. д.) часто використовуються якісь готові нейромережі, можливо дообученные на даних користувача. Можливо, з'ясується, що багато сервісів схильні до однієї і тієї ж проблеми і невірно класифікують одні і ті ж картинки просто тому, що побудовані на одній і тій же нейромережі. Це може виявитися досить масовою проблемою, десь критичною, десь ні ", - підсумовує фахівець.