За останні десять років популярний сервіс Google Translate пройшов серйозний еволюційний шлях. Починалося з підтримки всього декількох мов, тепер цей сервіс вже вміє працювати зі 103 мовами, а кожен день з його допомогою перекладається понад 140 мільярдів слів. Щоб зробити це можливим, Google довелося побудувати і підтримувати величезну кількість розподілених систем. При цьому обчислювальні витрати виявилися досить великими.
Як зазначають розробники, перехід на GNMT дійсно відчутно поліпшив якість перекладу між мовами, які використовувалися для тестування. Але масштабування до підтримки всіх 103 мов є справжнім викликом. Оновлено GNMT-технологія дозволяє одній системі здійснювати переклад відразу між кількома мовами. Запропонована архітектура не вимагає внесення змін в ядро GNMT, але включає додатковий токен, що вставляється в початок пропозиції. Цей токен визначає, якою мовою потрібно здійснити переклад. Окремо відзначається так званий метод Zero-shot Translation, який дозволяє перекладати окремі фрази між мовними парами, що ніколи раніше не зустрічаються. Zero-shot передбачає таке навчання, коли ставиться завдання без наявності прикладів вирішення схожих проблем. Наприклад, стоїть завдання знайти кота на фотографії. При цьому фотографії з іншими котами не показуються, а лише дається детальний опис того, як повинен виглядати кіт.
Google демонструє це на прикладі GNMT з підтримкою трьох мов. Припустимо, система проходить навчання для чотирьох пар - з японської на англійську, з англійської на японську, з корейської на англійську і з англійської на корейську. У методі Zero-shot отриманий досвід при перекладі між цими парами використовується для здійснення перекладу тих же фраз між японською і корейською мовами. За твердженням Google, такий тип навчання вперше використаний у системах машинного перекладу.
Замість традиційного попарного перекладу фраз (коли пари просто запам'ятовуються в базі даних), Google використовує так звану тривимірну репрезентацію даних. Нейронна мережа кодує дані семантично. Різними мовами такі семантичні відбитки виглядатимуть дуже схоже, а побудована мережа називається інтерлінгвістичною.
На думку Google, результати дослідження будуть цікаві не тільки експертам машинного навчання, а й лінгвістам.