Автор: 
Новый Яндекс.Браузер стал первым браузером для компьютеров, который научился переводить текст на картинках с помощью технологии компьютерного зрения. Это значит, что больше не нужно вручную переносить текст в переводчик или использовать сервисы распознавания, чтобы понять, что написано на картинке. Браузер сделает это сам.
Встроенный в Яндекс.Браузер переводчик уже много лет помогает понимать тексты на иностранных сайтах. А вот с надписями на изображениях было сложнее. Нужно было либо набирать текст вручную, а потом отправлять его в переводчик, либо загружать картинку в сервис распознавания и полученный текст также отправлять в переводчик. Когда надо перевести пару строчек на английском языке — это не страшно. Но что делать, когда страница почти целиком состоит из изображений? Например, заметная часть сайтов израильских государственных организаций предпочитает именно такой способ размещения информации. Похожую картину можно увидеть на корейских, китайских, арабских сайтах.
Аналогичная ситуация с техническими характеристиками товаров в иностранных интернет-магазинах — неудобно, когда их нельзя перевести автоматически. А хочется, чтобы было удобно. Эта потребность подтолкнула команду Яндекс.Браузера к идее создания технологии для перевода текста на изображениях.
Вы можете пользоваться переводчиком так же, как и раньше. Но теперь после перевода страницы на нужный язык у всех изображений больше 200×200 пикселей появляется всплывающая кнопка с предложением перевести текст. Вы нажимаете на эту кнопку, изображение отправляется в Яндекс.Переводчик для распознавания и перевода, после чего возвращается обратно, но уже с текстом на нужном вам языке.
Любые изображения можно переводить и по пункту из контекстного меню без перевода всей остальной страницы.
Чтобы изображение с переводом выглядело так же, как и оригинал, переводчик делит текст на блоки, двигает слова, масштабирует шрифт и подбирает фон. Благодаря этому переведённый текст выглядит аккуратно, сохраняется его смысловая нагрузка.
Новая технология доступна в Яндекс.Браузере для Windows и macOS. В ближайшее время она появится на Linux и в мобильной версии для Android, а до конца года — и в версии для iOS. Новый мобильный переводчик уже можно попробовать в бета-версии для Android.
Работа над переводчиком текста с изображений продолжается. В ближайшем будущем специалисты планируют сделать так, чтобы Браузер понимал, на каких изображениях есть текст, и предлагал перевести только их. Дорабатываются и алгоритмы распознавания контекста при переводе. Текст на изображении будет соотноситься с содержимым страницы, благодаря чему перевод станет более релевантным.
