Обработка естественного языка (NLP) для бизнеса

Обновлено: 02.11.2021

Технологии обработки естественного языка используются в бизнесе для следующих приложений:
- чат-боты для поддержки клиентов
- голосовые интерфейсы в IVR
- персональные голосовые ассистенты
- анализ отзывов и эмоций клиентов в социальных сетях
- поиск информации с использованием смыслов
- распознавание документов и форм
- перевод текстов на основании смысла текста
- проверка правописания (на чужом языке)

Примеры использования языковых технологий для бизнеса приведены ниже.

2021. Microsoft внедрит в облако Azure нейросеть GPT-3 и даст компаниям доступ к языковым моделям



Microsoft анонсировала OpenAI Service на основе своей облачной платформы Azure. Сервис можно использовать для разных задач — от обработки клиентских запросов и обобщения больших текстов до написания кода или генерации ответов на вопросы. В качестве примера Microsoft привела спортивную франшизу, которая разрабатывает приложение для взаимодействия с фанатами во время матчей. С помощью GPT-3 поток комментариев можно превратить в короткие подборки самых ярких моментов игры или сгенерировать оригинальный контент для соцсетей. Microsoft пообещала предоставить клиентам инструменты для фильтрации и модерации запросов и ответов пользователей. В мае компания интегрировала алгоритм GPT-3 в платформу low-code разработки Power Apps для упрощённого написания программного кода.


2021. Microsoft купила разработчика ИИ для модерации контента



Microsoft купила компанию Two Hat - разработчика решения для модерации контента в различных онлайн-сообществах. Компания использует искусственный интеллект для классификации и фильтрации миллиардов взаимодействий между людьми, анализируя текстовые сообщения, изображения, видео, имена пользователей и др. Microsoft и Two Hat являются давними партнерами: разработки Two Hat используются софтверный гигант для контроля за поведением игроков в инфраструктуре Xbox. Предполагается, что Two Hat позволит Microsoft улучшить модерацию контента в играх и сервисах. Кроме того, производитель Windows собирается распространить технологии на потребительские сервисы и клиентские сообщества.


2021. Языковые модели от SberDevices стали лучшими в мире по пониманию текстов на русском языке



Разработанная SberDevices текстовая модель finetune стала лучшей по пониманию текста в соответствии с оценкой главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, уступая по точности только человеку. Оценка общего понимания языка начинается в рейтинге с набора тестов, отражающих различные языковые явления — диагностического датасета. Он отражает лингвистические феномены языка и показывает, насколько модель ruRoberta-large finetune понимает те или иные его особенности. Высокий скор (LiDiRus) говорит о том, что модель не просто запомнила задания или угадывает результат, а выучивает особенности и осваивает разнообразие феноменов русского языка.


2021. Яндекс разработал языковую модель для генерации текстов



Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях. Через «Зелибобу» можно было создавать тексты в разных стилях: новостной заметки, анекдота, рекламного слогана, короткой истории и других.


2020. В Google Cloud появились специализированные ИИ-сервисы для медицины



Google представил два новых когнитивных API-сервиса на своей облачной платформе: Healthcare Natural Language API и AutoML Entity Extraction for Healthcare. Первый предназначен для извлечения данных из неструктурированных медицинских текстов/документов. Второй - для простого создания моделей машинного обучения для извлечения именованных сущностей из медицинских документов и записей диалогов с пациентами. Оба сервис предоставляют API для интеграции в медицинские информационные системы.


2020. Одноклассники предложили бизнесу сервис для анализа текстов, фотографий и видео с помощью нейросетей



Соцсеть Одноклассники предтавила автоматизированную платформу Робби для анализа материалов на сайте с помощью нейросетей и технологии big data. Сервис распознаёт текст, объекты на фотографиях, видео и GIF-анимации и умеет находить дубли, ссылки, телефонные номера на изображениях, спам в текстах и так далее. Например, интернет-магазины могут с помощью «Робби» автоматически обрабатывать отзывы клиентов, а видеосервисы — определять в роликах и стримах запрещённые материалы и рекламу. Робби работает через API и подойдёт как для крупного бизнеса, так и для небольших компаний, отмечают в соцсети. Стоимость обработки контента с помощью платформы — от 10 тысяч рублей в месяц.


2019. Компания Айтеко разработала чат-бота для общения с клиентами



Центр когнитивных технологий Айтеко создал чат-бота для контакт-центров, сервисных компаний, служб продаж. С помощью него клиенты могут оформить заказ товара или услуги, оставить сервисную заявку, получить интересующую информацию. По комплексному сценарию чат-бот может собирать первичные данные клиента и затем переводить его на оператора. Решение может использоваться как самостоятельный продукт и интегрироваться в сложные комплексные сценарии обработки входящих сообщений. Интеграция с внешними сервисами делает доступным обмен текстовыми сообщениями в привычном пользователю интерфейсе, например, в корпоративном мессенджере; общение происходит на привычном для пользователя естественном языке. Чат-бот реализован на базе собственной разработки компании «Айтеко» в области искусственного интеллекта – решения Smartsel.


2017. Ozlo превратился в API для разговорных интерфейсов



Помните нового виртуального ассистента Ozlo? Он передумал быть виртуальным ассистентом. Вместо этого, он решил помочь разработчикам быстро создавать разговорные интерфейсы к своим приложениям (за денюжку, конечно). Ozlo предлагает свою модель мира, которая состоит из 2 млрд фактов и к ней 3 API интерфейса: Data API - для пополнения/изменения модели мира (графа знаний), Intent API - для понимания вопросов пользователей (преобразования слов в смысл), и Converse API - для формулирования ответа (преобразования смысла в слова). Пример работы Ozlo виден на картинке. Исходя из вопроса "Можно ли завалить толпой в реторан Gravity и пожрать там устриц", он определил, что в данном ресторане подают устриц и приветствуют групповые посиделки и сформулировал ответ.


2016. Google DeepMind научился говорить



Большинство популярных синтезаторов речи, например, в Siri, Cortana или Google Translate - строят речь из фрагментов записей настоящего человеческого голоса. Этот метод даёт неплохие результаты, но требует наличия в базе данных записей абсолютно всех звуков речи для каждого используемого голоса. Команда Google DeepMind представила технологию WaveNet, которая требует немного исходного материала, наговорённого человеком, и с помощью глубинного обучения нейросети позволяет генерировать любые слова для данного тембра голоса. Лингвистические правила и рекомендации позволяют WaveNet формировать осмысленную речь (т.е. ИИ понимает смысл того, что он говорит). Однако, разработчики говорят, что в ближайшей перспективе внедрение этого метода в Google Assistant вряд ли возможно из-за огромного объёма требуемых вычислений (WaveNet для синтезирования человеческой речи обрабатывает каждую секунду 16000 образцов аудио).


2016. Живой пример робота, пишущего тексты на естественном языке



Французская компания Yseop специализируется на автоматическом формировании новостей, корпоративных отчетов, писем клиентам. На сайте компании можно поиграться с живым примером: это финансовая статья, которая обновляется автоматически каждый раз, когда вы меняете исходные данные в боковой панели. Первоначально в статье рассказывается о «существенной позитивной динамике», но если ввести более низкий показатель, то текст меняется, например, на «резкое снижение».


2015. Narrative Science: к 2025 году 90% новостей будут писать роботы


Американская компания Narrative Science является пионером рынка автоматического написания текстов. Их платформа на базе искусственного интеллекта Quill находит закономерности в исходных больших данных и формирует тексты естественным (английским) языком. Конечно, это шаблонные тексты, но нейронная сеть обучена подбирать правильные шаблоны предложений для соответствующих исходных данных. Чаще всего это заметки небольшого объема, которые отражают колебания цен на акции или посвящены схожей тематике. Главным конкурентом Narrative Science является еще одна американская компания Automated Insights, чья платформа Wordsmith умеет перебирать таблицы, статистические данные и комментарии и трансформировать полученную информацию в небольшую заметку.


2015. Технология машинного перевода ABBYY Compreno пытается понять естественный язык



Как известно, самый популярный в мире автопереводчик Google Translate работает на статистическом принципе: он обучается на миллионах готовых переводов и каждый новый текст переводит на основе сформированных на опыте паттернов. Иногда получается смешно, но в целом это работает. А вот конкурирующая фирма - российская компания Abbyy не стала искать легких путей. Она уже более 20 лет работает над технологией Compreno, основой которой является создание синтаксической модели языка и понимание смысла текста. Т.е. каждое предложение Compreno разбивает на объекты и, определяя связи между ними, сначала формирует универсальный перевод на язык смысла, а затем уже выражает этот смысл на другом языке.


2014. IBM открыла возможности Watson для сторонних приложений


IBM запустила платформу Watson Developer Cloud, которая предоставляет разработчикам приложений использовать когнитивные возможности этого искусственного интеллекта. Реализовано это через API-интерфейсы на облачной платформе IBM BlueMix. В частности, доступны такие функции, как определение языка, машинный перевод, анализ текста, визуализация данных, а также - главная функция Watson - ответы на вопросы, заданные естественным языком (это то, для чего Watson изначально был создан). Т.е. можно попросить Watson изучить текстовые материалы по определенной теме, задавать ему вопросы и получать короткие ответы (требующие знаний, а не логического мышления). Правда, пока Watson по прежнему может отвечать на вопросы только на английском.


2013. Видео: Как Siri получила свой голос


Как известно, изначально голосовые способности Apple Siri (распознавание и синтез речи) были реализованы компанией Nuance. В этом ролике вы можете увидеть, как создавался голос Siri (это заняло более 4 месяцев).


2013. Google покупает стартап для обработки новостей за 30 млн


Только месяц назад Yahoo купила приложение Summly, которое автоматически извлекает основной смысл из новостей и формирует короткое саммари, а теперь Google покупает подобный стартап Wavii за примерно такую же сумму - $30 млн. Причем, за покупку этого стартапа Google серьезно конкурировал с Apple. По заявлениям представителей Google, технология Wavii будет использована в основном для Knowledge Graph - это база знаний, собранных их различных источников, используемая Google для повышения качества своего поиска. Карточки из этой базы знаний вы можете увидеть справа при поиске, например, какого-то знаменитого человека. Команда Wavii насчитывает 25 человек, а размер инвестиций в стартап достигал $2 млн.


2013. Yahoo! купила приложение для извлечения смысла новостей за $30 млн


Yahoo! купила мобильное приложение для чтения новостей Summly за $30 млн. Приложение это было создано пару лет назад 15-летним английским парнем Ником Д'Алоизио. Фишка Summly в том, что оно  из длинного текста каждой новости автоматически формирует саммари, содержащее наиболее важную информацию. Размер саммари - до 400 символов (чуть больше сообщения в твиттере). Для этого приложение выделяет в тексте ключевые предложения, передающие главную идею. По словам Ника, приложение использует генетические алгоритмы, которые имитируют мышление человека. Однако, эти алгоритмы придумал не Ник - они были приобретены у компании SRI - той самой, которая создала Siri и продала ее Apple.


2013. Amazon купила лучший синтезатор речи IVONA


Amazon купила польскую компанию IVONA, которая известна своей системой воспроизведения речи. IVONA поддерживает 17 языков и 44 различных голоса. На сайте компании вы можете ввести произвольный отрывок текста и система произнесет его с отличным качеством. Amazon уже некоторое время использовала технологию IVONA в читалках Kindle Fire для воспроизведения книг, но по слухам, Amazon работает над голосовым помощником аля Siri.


2012. Поиск Google начинает оперировать знаниями, а не только словами


До сих пор поисковик Google оперировал только словами, фразами, предложениями, текстовыми страницами. Он находил нужные страницы по вхождению нужных слов, независимо от смысла этих слов. В большинстве случаев это работает, но иногда - качество поиска оставляет желать лучшего. Чтобы повысить качество поиска Google создал Knowledge Graph - базу знаний из объектов (знаменитых людей, книг, фильмов, городов, ресторанов, событий ...), связанных друг с другом в одну сеть. Вы уже можете видеть карточки объектов из этой базы справа в поиске, погуглив какую-нибудь знаменитость. Но идея не только в том, чтобы предоставить быструю выжимку знаний о конкретном объекте, но и в том, чтобы понять каждый запрос пользователя на уровне объектов, а не только слов.


2011. Искусственный интеллект IBM Watson победил в телевикторине Jeopardy


С момента победы суперкомпьютера DeepBlue над чемпионом мира по шахматам Гарри Каспаровым в 1997 году, IBM искала новый способ демонстрации своей технологической мощи (и повышения рыночной стоимости). Таким способом стало создание суперкомпьютера Watson, который должен был победить чемпионов в телевикторине Jeopardy! Суть этой игры в том, что участники отвечают на вопросы, требующие скорее знаний о каких-то фактах, чем логического мышления. И Watson победил. Возможно вам покажется, что в этом нет ничего удивительного. Довольно просто загрузить в память компьютера миллионы фактов. Тем более, если этот компьютер - на самом деле кластер из 90 мощнейших серверов. Однако, основная сложность для компьютера - понять вопрос, заданный на естественном языке (в т.ч. с юмором или игрой слов) и подобрать релевантный ответ.