Технология распознавания речи прочно вошла в обиход обычных пользователей и давно не вызывает удивления. Даже младшие школьники умеют делать поисковые запросы в Google с помощью голоса. Голосовые помощники стали такими же обычными в быту и бизнесе, как телефоны или телевизоры. Нововведение экономит время, позволяя не отвлекаться на выполнение рутинных задач включения-выключения приборов, поиска, а также анализа информации.
Внедрение технологии преобразования голоса в текст открыло новые возможности перед журналистами и теми, кто связан с системой образования. Теперь студентам, преподавателям, работникам СМИ не надо тратить ночи на расшифровывание записей, сделанных второпях, и беспокоиться об ошибках.
Нейросеть всё запишет, распознает и напечатает, потратив на это несколько минут.
Методика обработки голоса была изобретена более 70 лет назад. Однако качественно обрабатывать человеческую речь стало возможным лишь в начале текущего столетия благодаря развитию машинного обучения. Так появилась технология Speech-to-Text или STT. Её популярность стремительно растёт. Всего год назад ею уже пользовались 25% компаний. По прогнозам аналитиков к концу текущего года рынок речевых технологий вырастет в три раза и достигнет стоимости в 26,8 млрд долларов.
Как функционирует технология распознавания аудиоконтента
Транскрибация – это сложный многоступенчатый алгоритм, работающий на основе искусственного интеллекта. На нейросеть возложены функции обработки, распознавания, а также преобразования аудио в текст.
Человеческая речь состоит из предложений, предложения – из слов, слова – из букв, буквы – из звуков. При воспроизведения каждый звук оставляет уникальный рисунок на спектрограмме аудиозаписи. Инженеры готовят для нейросети специальный датасеты (проще говоря учебные образцы), каждый из которых состоит из записи голоса и сопровождающего его размеченного текста. ИИ предлагают пару аудиозапись-текст, а он должен распознать рисунки каждого звука, затем из звуков собрать буквы, из букв – слова.
Получив задание (датасет), машина разбивает контент на короткие звуковые отрезки – фонемы – и начинает анализировать, пытаясь вычислить наиболее подходящие: т. е. ИИ выдаёт не единственно точный ответ, а набор нескольких наиболее подходящих букв.
Когда звуки и буквы примерно определены, машина начинает подбирать варианты слов. Она обращается к контексту (словарю): сверяет наборы букв, которые распознала, с наборами, встречающимися в словаре, и таким образом вычисляет подходящие слова.
Теперь из слов надо собрать предложения с правильным смыслом. Чем лучше натренирована система, тем точнее будет результат транскрибирования. Натренированность зависит от количества текстов, которые были распознаны в процессе обучения. Однако продвинутые нейросети способны не только запоминать то, что когда-то распознавали, но самообучаться, делая выводы и запоминая различные нюансы, с которыми сталкивались.
Например, нейросеть распознала что-то, связанное с движением, и выбрала два варианта «идти», «ехать». При составлении осмысленного предложения она будет ориентироваться на соседствующие слова. Например, если рядом будут слова «пешеход», «тротуар», ИИ выберет «идти», потому что пешеходы ехать не могут, они идут. Но если она найдёт слово транспорт, машина, повозка, она выберет «ехать», поскольку «знает», что транспортные средства не ходят, а ездят.
Этапы транскрибирования
- Запись аудиоматериала.
- Анализ. Сделав аудиозапись, система отправляет её на сервер, где она очищается от шумов и разбивается на микрофрагменты – фонемы длинной 25 мс. Каждая фонема пропускается через акустическую модель, чтобы определить произнесённые звуки.
- Расшифровка. Аналогично определению звуков происходит определение слогов, слов: система вновь обращается к акустической модели, выявляет сходства, подбирает слова, определяет их смысл.
- Преобразование речи в текст. Используя языковую модель, машина формирует предложение, а нераспознанные части предложения подбирает по контексту.
- Декодирование. Распознанный текст передаётся в декодер, который объединяет данные акустической и речевой моделей и трансформирует их.
Качество распознавания, другие языки
Искусственный интеллект распознаёт аудиоконтент только на том языке, на котором её обучали. Например, если обучение происходило на русском языке, то английский она не поймёт (другой алфавит, другие слоги, речевые конструкции). Точнее, она расслышит звуки, подберет из акустической и языковой моделей что-то наиболее подходящее, но по сути это получатся нечитаемые буквенные наборы. Т. е. чтобы машина справлялась с транскрибацией на разных языках, процесс обучения также должен быть организован на разных языках.
Современные звукозаписывающие устройства обладают высокой чувствительностью, поэтому способны делать хорошие аудиозаписи, даже если в аудиторие есть звуковые помехи. Но всё же, чем меньше изначальный фон, тем качественнее получится запись, а значит, точнее транскрибирование. Пол, а также возраст говорящего никак не влияют на работу ИИ. А вот интонация, эмоции, произношение, особенности артикуляции, смысловое наполнение (например, лингвистика и интонация сказок и новостей сильно отличаются) могут создать сложности. Эти аспекты следует учитывать при тренировке искусственного интеллекта. Таким образом, чем качественнее будут подобраны обучающие материалы, а также чем больше заданий на различные темы машина выполнит в процессе обучения, тем качественнее будет работать.
Применение инновации в различных сферах
Выше уже упоминалось, что четверть компаний в большей или меньшей степени использует STT. С их помощью они автоматизировали многие производственные процессы, повысили уровень внутренней коммуникации, производительность труда, качество взаимодействия с клиентами. Speech-to-Text проник в медицину, юриспруденцию, сферы образования, здравоохранения, а также всё шире используется в обиходе.
Бизнес
- Интерактивные голосовые системы (IVR) позволяют общаться с клиентом, определять его пожелания до того, как человек дозвонится оператору. Потенциальный покупатель набирает номер компании, на другом конце провода робот спрашивает, что человека интересует. Дождавшись ответа и записав его, машина подбирает подходящий ответ. Если по запросу робот ничего подобрать не может, он попросит переформулировать запрос. Инновация снизила количество потерянных звонков, которых было много при использовании технологии голосового меню. Многим людям было сложно запомнить, по каким вопросом на какую кнопку нажимать.
- Исследование потребительских запросов методом телефонного опроса. Вместо клерка обзвоном клиентов или случайных абонентов занимается робот. Он автоматически набирает номера, задаёт один и тот же вопрос, записывает ответ.
- Анализ телефонных переговоров с клиентом. Менеджер, работающий с потенциальными покупателями по телефону, обязан строго следовать схеме беседы (приветствие, представление, установление цели звонка, выявление пожеланий). Кроме этого, важно соблюдение вежливого корректного общения даже в случае агрессии со стороны звонившего. Разговоры записываются, а затем их выборочно проверяет супервизор. Его задача выявить нарушения, которые привели к потере клиента. Раньше супервизоры не в состоянии были проверить все звонки, поэтому делали это выборочно, охватывая за день не более 25% переговоров. Теперь вместо супервизора мониторить переговоры можно при помощи IVR. Система отслеживает, все ли пункты плана беседы были соблюдены, в каком тоне прошла беседа, каковы её результаты. Используя материал, собранный ИИ, можно выявить, какие переговорные приёмы менеджера более эффективны и привели к повышению продаж, а какие оказались бесполезными.
- Автоматизация работы. Установление платформы CRM позволяет автоматически создавать базу данных клиентов, фиксируя номер телефона, имя, фамилию, адрес, а затем в процессе общения пополнять карточку информацией о его предпочтениях, пожеланиях.
- Маркетинговые исследования. Некоторые платформы позволяют узнать, с какими конкурентами покупатели чаще сравнивают ваш товар. Для этого создают теги с упоминанием конкурента, а затем анализируют речь, выявляя, что можно улучшить. Другой пример, когда робот перезванивает клиенту после завершения сделки и просит оценить продукт, скорость доставки, иные параметры, которые можно оптимизировать.
- Рекрутинг. На первичном этапе отбора разговор с кандидатами можно переложить на ИИ. Он задаст претендентам базовые вопросы и отсеет тех, кто точно не подходит.
- ИИ стал незаменимым помощником для записи и транскрибирования совещаний, встреч, переговоров. Он записывает диалоги, транскрибирует их, составляет саммари, рассылает его участникам.
Медицина
STT для медицинского сектора требует специального обучения, поскольку терминология, которую используют врачи, сильно отличается от обычного разговора. Внедрение программ-ассистентов на базе STT значительно облегчило работу врачей, а также расширило возможности медицины, повысило качество предоставляемых услуг. Искусственный интеллект, «понимающий» человеческую речь, взял на себя:
- заполнение историй болезни (под диктовку врача во время приёма), разгрузив врачей, а также средний медперсонал (система Voice2Med);
- запись и анализ бесед с пациентами, что позволило получать более точную картину их состояния, а значит, точнее ставить диагноз, назначать лечение;
- функции записи к врачу, распределение потоков пациентов, чтобы не образовывались очереди.
Появление STT стало импульсом для развития телемедицины. Всё больше медучреждений подключаются к системе EHR (электронных медкарт), позволяющей врачам быстрее получать информацию о пациенте, применять методы дистанционного лечения.
Повседневное использование
- Для голосового управления системой «Умный дом» от Sber.
- Для ввода сообщений в мессенджерах путём надиктовывания. ИИ последнего поколения набирает распознанное аудио без орфографических и пунктуационных ошибок.
- Для поиска информации в сети (музыка, фильмы, передачи, статьи) или заказа услуг на серверах такси, еды.
- Голосовое общение с навигатором.
- Общение с голосовыми помощниками в организациях, например в банках, для поиска информации, быстрого перевода.
- Блогеры, создающие видеоконтент, используют инновацию для составления субтитров.
Преимущества и вызовы
| + | — |
| Точность и надёжность: технологии STT нового поколения с высокой долей точности (до 98%) распознают и транскрибируют речь. | Техническая точность. Платформы для использования в сфере медицины, юриспруденции, инженерии требуют особых методов обучения нейросетей, поскольку в этих сферах встречается слишком много специфической лексики. |
| Эффективность. Нейросети могут обрабатывать объёмы информации на много бОльшие, чем под силу даже нескольким людям. При этом затрачивают на это гораздо меньше времени. | Точность транскрибации может сильно снижаться, если запись сделана в шумной среде. |
| Эффективность. Использование ИИ позволяет не тратить деньги на найм профессиональных транскрибаторов. | Внедрение инноваций компанией часто встречается коллективом с опасением, поскольку люди боятся потерять рабочее место или не справиться с нововведением, поэтому с коллективом придётся дополнительно работать. |
| Улучшение коммуникативности в компании, слаженности действий отделов, что ведёт к росту производительности труда. | Сложности освоения для персонала компании. Чтобы продвинутые версии софта работали эффективно, персонал надо специально обучать. |
| Разгрузка персонала от рутинных обязанностей, связанных с заполнением документации, ведением картотеки, обработкой протоколов. | Конфиденциальность. Поскольку при расшифровке сведения передаются на сторонний сервер, то риск утечки информации всегда присутствует. |
| Расширение возможностей для изучения рынка, конкурентов, новых потребностей покупателей. | |
| Облегчение работы лиц, связанных с необходимостью ежедневно обрабатывать большие объёмы информации (работники СМИ, студенты, преподаватели). |
Облачные сервисы и платформы для транскрибации
| Наименование | Преимущества | Количество языков | Бесплатно | Платно, доллар |
| FollowUP | Транскрибирует разговор; фиксирует задачи, сроки, ответственных, договорённости; составляет и рассылает саммари | русский | 100 минут | гибкая тарифная сетка в зависимости от количества минут |
| Sonix | Автоматическая идентификация говорящих; функции редактирования и форматирования распознанного контента; интеграция с Zoom. | 50 | 30 мин. | 10/час;22/мес. |
| Rev | Подходит для работы с большими объёмами аудиоданных; умеет создавать словарь для специфических терминов; повышенная точность распознавания контента узкой специализации. | 36 | нет | 1,5/мин |
| Riverside | Есть инструменты подавления шумов, а также повышения качества звука; Позволяет редактировать текст с автоматической синхронизацией с аудио и видеофайлами. | 101 | нет | 15/мес. |
| Whisper | Эффективна в сложных акустических условиях; хорошо справляется с обработкой длинных аудиофайлов; Создаёт субтитры для видео; Может использоваться для транскрибации аудиоконтента любой сложности с использованием профессиональной терминологии (в процессе обучения нейросеть расшифровала 680 тыс. часов аудио на разных языках). | 97 | Open source | нет |
| Dragon Professional | Управляется голосом (вызов приложения, отравление сообщений); может работать с аудио юридической, медицинской или образовательной сфер; точность распознавания 99%; оптимизирован для работы в Windows 10 и 11; | английский;немецкий;французский;итальянский;испанский;голландский. | 7 дней | от 15/мес. |
| Descript | Приложение для блогеров, ведущих подкастов и YouTube-каналов. Транскрибирует голос в письменный формат, позволяет редактировать видео. | 25 | 7 дней на Pro | 12/мес. за версию Creator; 24/мес.за Pro |
| Писец экспресс | Одна из лучших программ для транскрибации. Диктуйте сообщение в микрофон и получайте текстовый вариант. | русский;английский | да | обновление за небольшую плату |
| Диктант.io | Платформа для создания писем, документов, электронных сообщений без необходимости печати. Работает как преобразователь речи на сайте. | 100 | да | нет |
| Happy Scribe | Конвертирует аудиофайлы в онлайн-режиме; | 120 | да | нет |
Преимущества облачных решений
Для налаживания качественной и бесперебойной работы многофункциональных платформ STT компании потребуются:
- мощные серверы;
- дорогостоящий софт;
- специалисты для отладки.
Если попытаться сделать свою программу, то это тоже потребует создания условий. Также понадобятся:
- серверы с большими вычислительными мощностями;
- массивы эталонных звуков;
- инструменты для обучения.
Упростить задачу можно, применив облачные решения, например, платформу Cloud Voice в VK Cloud со встроенным инструментом Voice ASR, который одинаково хорошо справляется с обработкой единичных файлов или аудиопотоков, поддерживает основные аудиоформаты, а также поможет:
- интегрировать голосового помощника;
- мониторить качество обработки звонков;
- работать голосовыми командами (их надо настраивать).
Услуга платная, но платить надо только за количество символов при озвучке текста или минут, потраченных на расшифровку.
Заключение
Технология распознавания речи появилась более 70 лет назад, но возможность её широкого применения стала возможной всего полтора десятилетия назад с развитием машинного обучения. За короткий период инноваций прочно вошла в рабочую и бытовую среду. В бизнесе STT позволяет:
- оптимизировать работу;
- улучшить коммуникации внутри компании, а также с клиентами;
- автоматизировать многие процессы, избавив персонал от изматывающей рутины;
- повысить качество обслуживания, а значит, конверсию;
- повысить качество маркетинговых исследований.
В быту инновация облегчила поиск информации, управление бытовой техникой.
Востребованность технологии неуклонно растёт. Очевидно, что её функционал будет только расширяться, что позволит захватывать новые сферы экономики и общественной жизни, а пользователи получат ещё больше возможностей.
