Рисую словами яндекс дзен читать рассказы

Недавно мы впервые показали прототип переводчика видео в Яндекс.Браузере. Прототип работал с ограниченным числом роликов, но даже в таком виде вызвал интерес у пользователей. Теперь мы переходим к следующему ключевому этапу: в новых версиях Браузера и приложения Яндекс перевод доступен для всех англоязычных роликов на YouTube, Vimeo, Facebook и других популярных платформах.

Сегодня я не только расскажу о том, как устроен новый переводчик видео и какие у нас планы, но и поделюсь предысторией. Потому что считаю, что контекст важен: мы шли к этому шагу более десяти лет. Но если история вам вдруг не интересна, то можете сразу переходить к разделу «Перевод видео», где я описал работу технологии (а точнее, целого комплекса наших технологий) по шагам.

Десятью годами ранее

В 2011 году в Яндексе решалась судьба собственного полноценного браузера. На тот момент браузеров на любой цвет и вкус уже хватало. Но почти все они создавались «где-то там»: без оглядки на рунет и потребности тех пользователей, для которых английский язык и латиница не были родными. Поэтому мы решили создать свой браузер, который бы в числе прочего более полно поддерживал русский язык и наши с вами «региональные» потребности. Уверен, эта фраза звучит непонятно, поэтому ниже вас ждут два моих любимых примера. Они не связаны с переводом, но показательны.

Таких примеров много, но думаю, суть я передал. В любом случае все они меркнут на фоне главной проблемы, которой мы бросили вызов: проблемы языкового барьера.

Перевод текста

В интернете более миллиарда сайтов, но лишь около 9% — на русском языке. Интернет быстро растёт, но опять же — в основном за счёт иностранных сайтов. Информация, которая создаётся там, недоступна для большинства наших пользователей здесь.

Ещё тогда — в 2011-м — мы решили изменить это и помочь распространению знаний между пользователями. К счастью, в том же году появился Яндекс.Переводчик (тогда он ещё назывался Яндекс.Перевод). В его основе была технология статистического машинного перевода собственной разработки. Мы применили её и в Яндекс.Браузере. Да, мы не были первыми: Chrome уже умел подобное. Но в нашем случае переводчик работал с одной актуальной для рунета особенностью.

Большинство из нас с детства учит английский язык. Кто-то овладел им в совершенстве, но многие знают его достаточно фрагментарно, на уровне «читаю и пишу со словарём». Поэтому для нас особенно полезна возможность переводить не только страницы целиком, но и отдельные фразы и слова. Так мы пополняем словарный запас, продолжаем совершенствовать знания. Так оно и работает в Яндекс.Браузере с первого дня его существования.

Перевод картинок

Перевод текста — это хорошо. Но мы не должны забывать, что текст встречается ещё и на изображениях. Например, заметная часть сайтов израильских государственных организаций предпочитает именно такой способ размещения информации. Похожую картину можно увидеть на корейских, китайских, арабских сайтах. Аналогичная ситуация с техническими характеристиками товаров в иностранных интернет-магазинах.

Особенность этой задачки в том, что для её решения нужно объединить три технологии, которые отрабатывают последовательно. Сначала с помощью компьютерного зрения найти текст на картинке и распознать его в текстовый формат (OCR), затем с помощью машинного перевода перевести текст на русский язык, ну а вишенка на торте — рендеринг перевода поверх оригинальной картинки. Тут на каждом шаге можно закопаться в самостоятельную статью, поэтому я расскажу про самое неочевидное: про то, как мы боролись за экономию ресурсов.

Итак, можно взять исходную картинку, отправить в оригинальном виде из Браузера к нам на сервер, там проделать всю-всю работу, затем вернуть вариант с уже отрисованным переводом. Это самый простой для нас вариант. Но самый плохой для пользователя. Потому что картинки в интернете могут весить очень много. Их пересылка туда-обратно — это не только трафик, но и время, а значит, тормоза в продукте.

Чтобы не раздражать пользователей, мы пошли другим, сложным путём. На стороне Яндекс.Браузера уменьшаем картинки и переводим их в чёрно-белое представление. Кроме того, формат картинки меняем на WebP, который в среднем весит на 15–20% меньше, чем JPEG. В совокупности эти меры снизили вес картинок в несколько раз. При этом качество распознавания и перевода ощутимо не упало.

Этап объединения исходной картинки с переводом мы тоже перенесли на устройство. И вот тут возникла сложность. У Браузера есть исходная, цветная картинка и текст перевода. Если просто взять и наложить чёрный (белый?) текст на цветную картинку, то в большинстве случаев получится жуть. А мы не для того длину текста и переносы строк подгоняем под оригинал, чтобы испортить всю магию цветом шрифта.

Итак, нам нужно подогнать цвет перевода под цвет оригинала. Но Яндекс.Браузер не различает текст и фон на исходной картинке, а значит, не может выбрать цвет для перевода. Наш серверный OCR видит текст, но не видит цвета, которые были потеряны в результате конвертации в ч/б.

Придумали следующее. На стороне OCR выделяем ключевые точки на картинке для фона и текста. Отправляем их координаты Браузеру вместе с переводом. Браузер на своей стороне по этим координатам определяет цвета. И уже затем выбирает для перевода цвет, который накладывается на фон.

Получилось в целом неплохо:

Перевод картинок работает на десктопе и устройствах с Android. В ближайшем будущем добавим и iOS. Ну и конечно же, продолжим совершенствовать распознавание и перевод.

Перевод видео

У нас была давняя мечта: научиться переводить ещё и видео. Люди всё чаще смотрят образовательные и научно-популярные ролики, интервью, репортажи и многое другое. Бо́льшая часть подобных видео создаётся не на русском языке. Профессиональный перевод — редкость для свежего контента в интернете. В лучшем случае пользователи получают автоматически сгенерированные субтитры. Мы же решились замахнуться на большее: на автоматический перевод и озвучку любого видео прямо в браузере.

Как и в случае с картинками, для решения этой задачи одного только машинного перевода недостаточно. Качество перевода видео сильно зависит от качества распознавания и синтеза речи. К счастью, запуск Алисы и наших умных колонок здорово подстегнул развитие этих технологий в Яндексе. Настолько, что в сентябре прошлого года мы решились запустить проект. Казалось бы, остаётся только соединить все технологии в общий процесс. Какие тут могут быть сложности, не правда ли? Сейчас расскажу какие, описав процесс по шагам (а в конце рассказа вас ждёт простая наглядная схема).

Шаг 1. Распознавание речи и предобработка текста
Пользователь нажимает кнопку переводчика, и мы начинаем обрабатывать ролик.

У нас на входе есть какое-то видео с какими-то голосами. Это может быть образовательный ролик с одним ведущим. Это может быть интервью из двух человек. А может быть и вовсе многоголосая дискуссия. Если просто перевести поток речи в текст, то получится сырой набор слов. Без запятых, без точек, без логической группировки слов в предложения, а предложений — в абзацы. И если прогнать такой текст через переводчик, то результат будет в полной мере соответствовать принципу GIGO. Поэтому мы не только превращаем аудио в текст, но и запускаем специальную нейросеть, которая вычищает мусор, группирует слова в смысловые сегменты и расставляет знаки препинания.

Кстати, мы опираемся не только на голос, но и на субтитры. Решили так: если человек загрузил к видео субтитры — то распознавание не используем: ведь тексты, написанные людьми, обычно более качественные, чем тексты на выходе у ASR. Но если субтитры сгенерированы автоматически, то игнорируем их и применяем свою технологию.

При этом даже ручные субтитры нужно пропускать через ту самую нейросеть. Как минимум потому, что в них бывает много текста, который не нужен для синтеза голоса. Например, описание звуков (*аплодисменты*, *звук сирены* и т. д.) или указание имени спикера перед каждой фразой.

Кроме того, ручные субтитры могут быть нарезаны на строки не по границам фраз, а произвольно. Приходится пересобирать текст из разных строк. Покажу пример:

На скриншоте выше вы видите две строки субтитров. Раньше мы их так (построчно) и переводили. Но на самом деле это фрагменты двух предложений, начало и конец которых прячутся в соседних строках:

The output from my scanning electron microscope is than oscilloscope screen.
So I set that up and adjusted the contrast and everything.

И вот такие вещи надо уметь восстанавливать, иначе смысл перевода исказится до неузнаваемости.

Шаг 2. Биометрия
Итак, у нас на руках части неплохого текста и тайминги, которые нам ещё пригодятся. Что дальше? Перевод?

Нет: мы ещё больше усложнили себе задачку. Мы хотим, чтобы голоса у спикеров были разными: так проще воспринимать речь. Мы планируем адаптировать синтезированный голос к голосу спикера. Но на текущем этапе у нас более простое решение: мы определяем пол говорящего для каждой части текста, чтобы озвучивать их мужским или женским голосами.

Шаг 3. Машинный перевод
Теперь пора переводить. Тут в целом всё происходит достаточно стандартно, но с одной важной особенностью: мы передаём в модель переводчика ещё и информацию о спикерах, об их поле. Это нужно для того, чтобы в переводе разные спикеры говорили о себе или обращались к другим с корректным согласованием местоимений, глаголов и прилагательных.

Шаг 4. Синтез речи
Переходим к синтезу голоса. Сейчас у нас два голоса, дальше станет больше. Но самая большая сложность вовсе не в этом. Тексты на русском языке длиннее, чем на английском. Разница может составлять в среднем от 10 до 30%. Это значит, что при длительном воспроизведении мы рискуем словить существенный рассинхрон между тем, что говорит спикер на английском, и тем, что мы произносим на русском. Значит, нужно синхронизировать два потока речи. И нет, мы не стали фиксированно ускорять одну дорожку относительно другой.

Помните, чуть выше я уже говорил про тайминги, которые мы получили после анализа исходной речи? Благодаря им мы знаем, какие фразы в какой момент должны произноситься. Это позволяет нам синхронизировать речь более гибко. Работает это так. Синтез речи — многоступенчатый процесс, в котором можно выделить два самых больших этапа. На первом мы с помощью нейросетей представляем текст в виде промежуточной спектрограммы. На втором с помощью других нейросетей превращаем спектрограммы в звук. Мы используем тайминги на первом этапе, чтобы сгенерировать спектрограмму нужной длительности. При этом ускорение в первую очередь достигается за счёт сокращения бесполезных пауз между фразами и словами. И только если этого недостаточно, алгоритм ускоряет сами фразы.

Шаг 5. Уведомления
Ура, у нас готов перевод, его можно включить в Яндекс.Браузере. Расходимся? А вот и нет. Мы выстроили целый каскад из тяжёлых технологий, которые последовательно сменяют друг друга. Требуется время на работу огромных нейросетей-трансформеров, даже с учётом их распараллеливания на GPU. К примеру, когда мы делали первый подход к снаряду и собрали быстрый внутренний прототип, то видео длиной в час переводили целых полчаса. Нам удалось оптимизировать всё это дело и ускорить переводчик в несколько раз, но это по-прежнему минуты, а не мгновения. Над мгновенным переводом мы продолжаем работать, а сейчас придумали такую схему: мы не только говорим пользователю, что нужно немного подождать, но и присылаем пуш-уведомление о готовности. Такое решение удобно: можно запросить перевод, закрыть вкладку и уйти заниматься своими делами. Браузер переведёт и напомнит.

Вместо заключения

Вот наглядная схема всего процесса перевода видео:

Чуть ниже вас ждёт образец готового перевода на примере фрагмента лекции Джимми Уэйлса в Яндексе (оригинал тут). Этот фрагмент хорошо демонстрирует не только потенциал нашей технологии, но и проблемы, над которыми мы будем работать дальше.

Сейчас перевод видео доступен для английского языка и популярных сервисов. Он работает в Яндекс.Браузере для десктопа и Android, а также в приложении Яндекс для Android и iOS.

Хочется верить, что наше решение поможет пользователям хотя бы частично преодолеть языковой барьер и открыть для себя новый полезный контент, для которого ещё нет профессионального перевода. Мы продолжим совершенствовать перевод видео. У нас ещё очень много работы, поэтому любые идеи приветствуются.

Как мы учимся говорить: Когда-то существовало заблуждение, что люди рождаются со знанием языка, просто «вспоминают» его первые годы жизни. Разумеется, это давно опровергнуто. Мы действительно кое-что знаем кое-что от рождения — но эти знания записаны не словами, а в инстинктах. От рождения мы понимаем только эмоции (базовую комплектацию) и умеем их распознавать — по мимике, языку тела и интонациям.

Ноам Чомски открыл, что люди обладают бессознательной способностью к языкам. За кадром осталось то, что люди именно так большинство языков и учат — бессознательно

Во сне люди, не умеющие сочинять музыку, писать стихи или прозу, могут сочинять музыку, писать песни или рассказы, которые будут казаться им гениальными произведениями ровно до того момента, пока они не проснутся — но при попытке их повторить, то есть, передать саму сочинённую музыку или сам сочинённый текст, а не впечатление от них, в точности — они начинают тут же ускользать, упорно отказываясь транслироваться в реальность. Ощущение, что они настоящие и рядом было, а мелодии или текста — не осталось. Тут уже поневоле задумаешься: а были ли они? Или спящий мозг не придумал что-то прекрасное, а сразу перешёл к симуляции ощущения, что он придумал что-то прекрасное? А наяву точно так же расползается и сам сон, изнутри него казавшийся достаточно связным. Но в сознании — чем точнее его пытаешься пересказать, тем бессвязнее он звучит. И тут уже понимаешь, что он и не был никогда связным, а только производил ощущение связности.

Точно так же люди знают большинство слов: не по значению, а по впечатлению, которое с ними связано. Они знают, что слово означает для них, то есть, свою собственную реакцию на него. Но не то, что оно точно значит. Потому что именно так мы учим свой первый язык — словно во сне.

От рождения в человеке заложена способность распознавать эмоции. Которая, как и многие разные другие способности, с которыми мы рождаемся, которые превратятся в умения только после успешного применения на практике. Многие из них — например, способность выполнять логические операции — скажем, видеть взаимосвязь между какими-то вещами — критично важны для обучения речи. И, каждый по мере способностей, мы распознаём эмоции окружающих людей в ответ на наши действия, при их общении между собой, взаимодействии с другими предметами и, главное, нашими собственными ощущениями — постепенно связывая с ними уже конкретные последовательности звуков. Самый сильный фактор обучения, на мой взгляд — именно собственная реакция. При наблюдении тоже можно учиться — например, уловить связь между упавшим на ногу папы молотком и его реакцией «бля!» Но личный интерес, эмоциональная вовлечённость — важнее всего. Именно поэтому я думаю, первое слово большинства младенцев — «мама». Потому что именно с матерью у них связаны самые сильные переживания в первые годы жизни: с её отсутствием, с её возвращением, с голодом и удовольствием. И больше всего ребёнку нужно её внимание — и уметь его привлекать.

Представим мысленный эксперимент: если не учить ребёнка слову «мама» и другим словам, но постоянно при нём использовать его в обращении к ней, и однажды ребёнок сам, без подсказок, использует его, чтобы привлечь её внимание — сам. А если, кстати, обращаться к ней только по имени, если даже сама мама будет говорить при ребёнке о себе в третьем лице по имени — тогда его первым словом будет её имя. Но означать оно будет что-то другое — весь спектр ощущений ребёнка, когда он её видит, желание кушать, просьбу не уходить. Слово «мама» для ребёнка больше не про маму, а про себя, любимого — точнее, про всё, что у него с мамой связано. Точно так же, как домашние животные знают свою кличку — вряд ли они понимают, что это их имя, то есть характеристика, связанная с ними. Для животного кличка ассоциируется с конкретными проявлениями внешнего мира.

Разобравшись с вербальным выражением своих эмоций и потребностей, люди переходят дальше, связывая со словами уже не связанные напрямую с ними вещи — общение окружающих между собой и их взаимодействие с окружающим миром. На этом этапе это ещё можно сравнивать с тем, как понимают человеческую речь животные.

Дальше наступает уровень, животным уже, кроме, может только самых умных, неподвластный: понимание слов по контексту и ассоциациям. Это понимание слов, не обозначающих предметы или проявления видимого мира вокруг, а относящихся к чему-то неизвестному, не потому что тебе показали или ты увидел с чем они связаны, а из разговора об этом. То есть, новые слова понимаются через другие слова, которые понял раньше, если их достаточно, чтобы понять контекст. Или через ассоциации, вызванные, например, морфологией самого слова.

Ни один из этих этапов не подразумевает точности — даже когда родители целенаправленно объясняют конкретные слова, это ещё не означает, что они при этом сами не «приблизительно понимают» их и, тем более — что ребёнок точно понял, что они хотят сказать.

В остальных случаях мы учимся словам сами, то есть основа нашего словарного запаса — это наши представления о том, что те или иные слова из них значат. Которое, как нам кажется, известно — потому что мы знаем, когда и зачем его употреблять, и получаем подкрепление в виде соответствующей нашим ожиданиям обратной связи от окружающих.

И только попытка самому сформулировать слово разоблачает, наконец, истину: что вместо понимания слова, у нас с самого начала было только представление о нём. Приблизительное представление, что оно значит. Вместо того чтобы пользоваться числами — мы пользуемся их производными, которые вычислили сами.

Разумеется, обучение только по контексту, без уточнения и проверки, ведёт не только к приблизительному понимаю (то есть, неверному пониманию с небольшими пределами ошибки), а грубому непониманию. Чем позже мы узнаем, как правильно, тем лучше это запоминается. Слова, которые знакомы многим как пример неправильно понятых в детстве из контекста, пока, порой уже взрослыми, нам на них не открыли глаза: нелицеприятный и неглиже.

Проблема в том, что, поудивлявшись этой новости, мы совершенно не думаем, что ничего удивительного, учитывая метод обучения на основе собственных догадок, без перепроверки точности сделанных выводов, в этом нет. И не пытаемся уточнить — а другие слова мы точно понимаем точно?

▍ Откуда берётся точное значение слов

На самом деле, слова редко имеют конкретный момент, когда были придумывания и точное значение, которое было бы сразу с их появлением на свет вписаны в свидетельство о рождении. В большинстве случаев корни слов уходят глубоко в историю, а вместо дня рождения — у них многовековая история мутаций, сращиваний и делений. И тем не менее, вот оно, их точное значение: записано в словаре. Однако откуда авторы самых первых словарей знали значение слов, которые сами не придумали, если, как и все остальные, не услышали их в детстве и не додумались до их значения сами? Разумеется, оттуда же.

Слова сначала обретают форму и конкретное значение в одном или нескольких вариантах, а потом мы с ним знакомимся. И можем сформулировать его значение — и его определение будет настолько точным и полным, насколько точными и полными будут представления обо всех контекстах, в которых оно встречается. Если всё, что для точной, а не приблизительной формулировки значения слова, требуется — это знать все (основные) варианты его применения, то почему составители словарей это могут, а большинство людей — нет? Потому что составителям словарей по работе приходится задумываться над точной формулировкой каждого слова оттуда.

Напоследок: небольшая обучающая игра с возможным побочным эффектом чему-нибудь действительно научиться

Осознать степень своего невежества и сделать первые шаги к его исправлению, как из этого следует — очень просто. Надо начать задумываться, давать себе время от времени задание точно, лучше вслух или письменно, сформулировать значение любых слов, даже самых простых слов: описывающих ваше окружение, например, или любое из тех, что вы использовали в последнем разговоре, в последней переписке в чате. Возьмите девятое с конца слова в вашей последней переписке в любом мессенджере и запишите там же его точное, на ваш взгляд, значение. Уже этот процесс имеет потенциал приоткрыть глаза. Главное, на этом игру не бросать, а время от времени, к ней возвращаться и играть уже с другими словами. Чем слова будут проще и очевиднее — тем лучше. Так сразу станет понятно, до какой степени самые простые слова — самые сложные в точности формулировки.

И так сразу станет понятно, почему люди «не понимают» друг друга, даже когда каждый из них «русским языком всё объяснил».

▍ Этимологические словари — настоящие толковые словари языка

Толковые словари должны быть толково-этимологическими, а основанные только на генерализации и предыдущих толкованиях — это бестолковые толковые словари. Утверждение о большинстве звучит категорично, но, когда я объясню свою логику — оно станет звучать ещё и убедительно. Впрочем, для его доказательства потребуются эксперименты. И хорошо бы, чтобы такие были проведены.

Ещё одну вещь, которую люди не заметят, пока не прокачают свою речь — до какой степени мы сами формируем для себя окружающую реальность. Радикальное уменьшение количества тупиц, подлецов и хамов вокруг — полностью в нашей власти. А ещё можно увеличить число умных, отзывчивых, приятных и эффективных людей вокруг. И это, опять же, за счёт собственных внутренних настроек.

У каждого человека доступ к определённым настройкам, которые он может регулировать самостоятельно. Поменять какую-то свою реакцию — и получить положительную обратную связь просто за счёт того, что у человека даже самые базовые настройки были не тронуты или сбиты всю жизнь. То есть то, что должно быть просто в управлении и эффективно. Это даже забавно, когда люди вгрызаются в меню каждого нового апдейта телефона — при этом не замечая, что сами всю жизнь ходят, условно, с выключенным WiFi, или на 10% яркости, или без пароля на какие-то доступы.

Думаю, что у большинства людей отличный потенциал роста по всем направлениям и в совокупной эффективности. Просто за счёт эффекта низкого старта. Грубо говоря, как всю жизнь ходить горбуном, а потом начать следить за положением спины — и стать выше на голову.

В смысле, само умение говорить, писать, читать. Мы можем это делать гораздо лучше. Речь не о скорости (печати, чтения, речитатива). Можно научиться печатать чушь вдвое быстрее — получится вдвое больше чуши. И не о платформах для общения. Которые уже достаточно мощны и полноценны, на мой взгляд. И даже не о способах ввода — хотя здесь прорыв технологий самый ожидаемый. Речь о повышении эффективности речи. К сожалению, люди в целом общаются крайне непродуктивно.

Три больших аспекта нашей собственной речи, которые люди в силах контролировать и улучшать, причём заметно.

I. Точность речи. Степень совпадения того, что услышал собеседник с тем, что мы ему хотели сказать. Наверное, никому не надо объяснять, как вредны недопонимания и агитировать желать от них избавиться. Именно этого и я хочу добиться. Не для кого-то, а для всех. Условно, помочь поднять средний уровень взаимопонимания среди всех, кто говорит на русском (интересно, как бы это сказалось на экономическом росте?), а потом и вовсе всех, кто говорит.

Почему это важно? Потому что уверен — и буду это проверять, чтобы говорить фактами, а не предположениями:

• люди недооценивают уровень неэффективности своей речи. Разница между текущим средним уровнем и просто подтянутой речью может быть очень заметной.
• люди почти не осознают совокупный эффект более низкой, по сравнению с возможной, эффективности речи. Совокупный — в масштабах страны, человечества, цивилизации.

Поднять уровень эффективности коммуникации для людей означает улучшить уровень и качество жизни. Насколько большой потенциал заложен в повышении эффективности речи — тоже вопрос для изучения. Я подозреваю, что гигантский. Потому что:

• а) это была нетронутая территория до сих пор. Наша речь развивается, по большей части, реактивно — за технологиями, за уровнем жизни. Минус реактивного развития — оно всегда следует за нижней границей допустимого. Чтобы стремиться к верхнему порогу эффективности — нужна проактивность.
• б) заметный эффект может дать банально разрешение или смягчение болезненных или глобальных проблем. Как правило, они не неразрешимы. Как правило, они даже не покидают коммуникационного пространства. То есть, не то чтобы нам мешала гравитация, законы физики или физические препятствия. Такого почти не бывает. А значит, проблема всегда лежит в общем информационном пространстве. А значит, потенциально, в его же рамках и решаема. Иными словами, нам действительно нужно научиться лучше говорить. И тогда мы начнём лучше договариваться.

II. Мотивация. За этим словом я пока скрою пласт ошибок, проблем, возможностей и перспектив с психологической точки зрения. Главный вопрос — зачем мы говорим то, что говорим, тому, кому говорим. Тут много интересных слоёв. Умение выбирать нужные и ненужные разговоры. Нужное и ненужное общение в целом. Умение говорить правду _себе_. Более осознанный внутренний контакт с самим собой, своими эмоциями может изменить не содержание, а сами разговоры. Людей, с которыми они идут. Цели, к которым приводят. Где-то отцепиться от якоря, где-то — устремиться вперёд, где-то — отойти, отступить.

III. Экология. Почти то же самое, что мотивация — только в отношении внешних факторов. Как эффективнее управлять своим вниманием. Как эффективнее фильтровать входящий поток информации. Как расширять кругозор, а не застревать в одной колее.