В преддверии Дня космонавтики рассказываем, как разработчики компании «Наносемантика» реализуют проект по созданию виртуального ассистента космонавтов «Лучик». Виртуальный ассистент помогает на борту МКС в логистике, инвентаризации и даже оказывает космонавтам психологическую поддержку.
.jpg "VA Luchik (1).jpg")
ЗАКАЗЧИК
Ракетно-космическая корпорация «Энергия» имени С. П. Королёва ‒ одно из ведущих предприятий космической промышленности СССР и России. Является основным разработчиком ракетно-космической техники ‒ ракет-носителей, спутников, автоматических межпланетных станций, пилотируемых космических кораблей, пилотируемых орбитальных станций и их модулей.
ИСТОРИЯ ВОПРОСА
Компания «Наносемантика» получила запрос на отработку технологии создания и сопровождения в полете виртуального ассистента космонавта. А также на проведение экспериментальных исследований влияния условий космического полета на эффективность технологий распознавания и идентификации речи космонавта. Проект был начат в 2022 году и продолжается по настоящее время.
РЕАЛИЗАЦИЯ ПРОЕКТА
Используемые технологии
Информационная система для разработки интеллектуальных виртуальных ассистентов DialogOS
Задача
В ходе проекта решается несколько задач:
- Проработка локального развертывания платформы DialogOS на персональном компьютере, характеристики которого идентичны характеристикам бортового ПК для российского сегмента МКС.
- Создание виртуального ассистента «Лучик» на базе DialogOS и добавление модулей ASR и TTS для его работы в голосовом канале. Обучение космонавтов работе с виртуальным ассистентом, участие в обработке и анализе полученных данных.
- Выполнение экспериментальных исследований влияния условий космического полета (микрогравитация, зашумленность, ограниченное пространство, автономность) на эффективность технологий распознавания и идентификации речи космонавта.
Описание решения
Потребность в голосовом виртуальном ассистенте на борту МКС обусловлена существенной нагрузкой на зрительный анализатор в ходе выполнения космонавтом полетной программы, а также большим объемом используемой на борту информации.
Ассистент предоставляет космонавту удобный интерфейс для доступа к различным информационным материалам, документации и базам данных. Более того, в условиях сенсорной депривации и монотонности использование космонавтом аудиальной информации по запросу может составлять существенный резерв психологической поддержки. Также голосовой виртуальный ассистент незаменим в критических ситуациях автономной работы, когда отсутствует связь с центром управления или когда передача информации по аудио каналу является единственно возможным вариантом для коммуникационной поддержки (в темноте, в условиях иммобилизации, т.д.).
Демонстрационный виртуальный ассистент «Лучик» был реализован специалистами «Наносемантики» на базе платформы DialogOS , которая включает в себя всю необходимую функциональность для создания и обучения диалоговых роботов с возможностью коммуникации с пользователем в различных текстовых и голосовых каналах. «Лучик» способен вести разговор с космонавтом на различные темы (в том числе, в голосовом канале), логировать и сохранять аудио-ответы космонавта для последующей их отправки на Землю для изучения и анализа. Также в ассистенте реализован базовый навык по теме «логистика и инвентаризация». В условиях ограниченного объёма космических станций и сложных систем хранения, инвентаризация и поиск вещей на МКС являются очень актуальными, и РКК «Энергия» считает это направление перспективным. Среди других тем взаимодействия космонавта с ассистентом: планы работ, бортовые инструкции, управление операциями, психологическая поддержка.
Пример диалога космонавта (пользователь) с ассистентом «Лучик» на тему поиска объекта в системе Инвентаризации грузов РС МКС.
Пользователь: ищу перфоратор
Лучик: Перфоратор располагается в СМ1РО_1_134_1. Примечание: КЭ
«Хроматомасс-спектр М».
Пользователь: А статус у него какой?
Лучик: Перфоратор. Статус: Хранение.
Пользователь: А серийный номер?
Лучик: Перфоратор. Серийный номер: 00055071R.
Пользователь: А штрихкод есть?
Лучик: Перфоратор. Штрихкод: 00055071R.
Пользователь: а индекс?
Лучик: Перфоратор. Индекс: NA_перфоратор.
Пользователь: А какой индекс у отвертки?
Лучик: Отвертка. Индекс: ЭЦО.017.80.
Пользователь: А где ее найти?
Лучик: Отвертка располагается в ФГБ1ПГО_2_219_1.
Дополнительной задачей стало исследование влияния условий космического полета (микрогравитация, зашумленность, ограниченное пространство, автономность) на эффективность технологий распознавания и идентификации речи космонавта. В тренажерах специальных модулей выполнялось включение бортовых приборов для моделирования возможной шумовой обстановки, на фоне которой выполнялись сеансы разговора оператора с голосовым ассистентом «Лучиком» (с аудиозаписью на диск ноутбука).
Получение текстовых транскрипций из аудиофайлов с использованием системы автоматического распознавания речи ASR (Automatic Speech Recognition) реализовано со следующими показателями.
CER (Character Error Rate) – процент ошибок (отличий от оригинала) на уровне символов в распознанном тексте – составляет 2,66 %.
WER (Word Error Rate) – процент ошибок (отличий от оригинала) на уровне слов в распознанном тексте – составляет 9,7 %.
Анализ полученных записей позволил сделать вывод о хорошей производительности системы ASR. Даже при наличии шума и изменчивости громкости речи ASR продемонстрировала достаточно высокую точность распознавания как символов, так и слов, что показывает приемлемость ее практического использования на борту российского сегмента МКС.
ПРОЕКТ В РАЗВИТИИ
В настоящее время выполнена оценка работоспособности платформы DialogOS и ассистента «Лучика» на бортовых вычислительных средствах российского сегмента Международной космической станции, продолжается тестирование диалоговых схем и дальнейшее формирование базы знаний ассистента.
Возврат к списку