Компанія, заснована Діснеєм, заробляє на мультиках і фільмах мільярди доларів. Не дивно, що її співробітники хочуть знати, які історії подобаються людям.
Вчені давно працюють над створенням штучного інтелекту, який міг би писати статті та художні тексти. Але для того, щоб алгоритми могли придумувати хороші історії, вони повинні розуміти, які історії ми вважаємо хорошими. Дослідники з Disney Research і Массачусетського університету в Бостоні (University of Massachusetts Boston) створили нейронні мережі, які оцінюють якість коротких оповідань і пророкують, що сподобається широкій аудиторії. Результати роботи опубліковані в репозиторії arXiv.
Нейронні мережі Disney не наслідують літературних критиків. Вони не оцінюють унікальний стиль, художню манеру або новаторський підхід, але намагаються вгадати, що сподобається масам. «Наші нейронні мережі досягли певного успіху в тому, щоб прогнозувати популярність історій, - говорить один з Бойан Лі (Boyang Li), один з авторів роботи. - Поки з їх допомогою не можна вибрати переможця в місцевому літературному конкурсі, але вони задають напрям для майбутніх досліджень». "Здатність передбачити якість оповіді впливає і на створення, і на розуміння історії, - додає віце-президент Disney Research Маркус Гросс (Markus Gross). - Щоб оцінити якість, ШІ необхідний певний рівень розуміння тексту. А якщо ШІ буде генерувати оповідь, він повинен мати можливість судити про якість того, що виробляє ".
Взявшись за розробку нейронних мереж, вчені зіткнулися з проблемою: великої бази історій, промаркованих як «хороші» і «погані», просто не існує. На чому, в такому випадку, тренувати штучний інтелект? Сприйняття історій дуже суб'єктивно, тому, щоб отримати скільки-небудь достовірну думку, потрібно опитати безліч людей - а це дорого і складно. Дослідники вийшли з положення, звернувшись до даних сервісу питань і відповідей Quora.
На Quora зібрано десятки тисяч питань, згрупованих за темами, і деякі з них мають на увазі відповіді у формі коротких оповідань. Наприклад, питання «Як це бути бідним?» спонукує користувачів ділитися власним досвідом. За відповіді можна голосувати, і ті з них, що отримують найбільше лайків («upvotes»), потрапляють у початок сторінки. Таким чином відвідувачі сервісу самостійно оцінюють історії. Вчені вибрали два десятки тем, що містять відповіді-оповідання і зібрали понад 54 000 коментарів. Потім вони створили алгоритм, який вибирав з цього масиву історії, і вичленували 29 846 оповідань довжиною від 50 слів.
На основі цієї бази даних вчені натренували три нейронні мережі: одна прогнозувала популярність історії на основі окремих шматочків тексту, друга аналізувала, як різні частини взаємодіють між собою і третя розглядала весь текст в цілому. Нові мережі виявилися ефективнішими за традиційний алгоритм «випадкового лісу» (Random forest), і найбільш досягла успіху модель, яка «читала» весь текст відразу, в поєднанні з моделлю, що аналізує зв'язки між ділянками тексту: точність прогнозів цього тандему була на 18,10% кращою, ніж у разі застосування Random forest, і на 3,96% кращою, ніж у мережі, що аналізує важливі для розуміння фрагменти.
Disney Research - це мережа дослідницьких лабораторій, яка самостійно наймає вчених, а так само співпрацює зі сторонніми організаціями, такими як Університет Карнегі - Меллон і Швейцарська вища технічна школа Цюріха. Вона заснована в 2008 році і займається різними проектами: від розробки ПЗ для в'язання тривимірних об'єктів і стабілізації зображення ручних камер до досліджень в області бездротового зв'язку та комп'ютерної графіки.