Facebook вголос розповість про сюжет фотографії

Facebook вголос розповість про сюжет фотографії

У Facebook з'явилася нова функція, орієнтована, в першу чергу, на сліпих і слабозорих людей, що дозволяє їм отримувати уявлення про те, що зображено на фотографіях. За допомогою штучного інтелекту даний інструмент може вголос описувати будь-який знімок, розміщений в новинній стрічці соціальної мережі.


Програма здатна розповісти й іншу інформацію про фотографії, а саме коли вона була опублікована, хто її автор, як він її підписав, скільки «лайків» вона зібрала і скільки інших користувачів прокоментували її. Раніше при використанні сервісу читання тексту вголос люди з проблемним зором отримували лише голосове повідомлення про наявність у повідомленні картинки.

Робота над платформою розпізнавання зображень велася протягом десяти місяців цілою командою розробників. Сервіс, який вони створили, являє собою глибоку свірточну нейронну мережу з мільйонами налаштовуваних в результаті навчання параметрів. Він може «впізнавати» об'єкти, сцени і навіть певні місця.

Алгоритм опису такий: спочатку програма називає число людей у кадрі (якщо вони є), повідомляє, чи посміхаються вони, потім перераховує всі «побачені» об'єкти, після чого дає уявлення про навколишню обстановку (чи відбувалася зафіксована подія на вулиці або в приміщенні, чи зроблено знімок як селфі тощо).

На даний момент функція доступна лише в додатку Facebook для iOS і підтримує тільки англійську мову. Однак в осяжному майбутньому розробники обіцяють реалізувати її і в Android-клієнті соцмережі, а також додати інші популярні мови. Зауважимо, що наразі, згідно зі статистикою, у Facebook зареєстровано понад 39 мільйонів сліпих і 246 мільйонів слабозорих.