Большинство компаний по всему миру проводят большую часть своих встреч онлайн. Видеоконференцсвязь используется для встреч с клиентами и партнерами, а также для внутренних совещаний, тренингов и конференций. Многие из них записывают свои встречи для дальнейшего использования. Компании хранят сотни записей совещаний и терабайты видеоданных.

Сотрудники обращаются к записям видеоконференций по разным причинам: чтобы вспомнить детали чьих-либо выступлений, уточнить обязательства, вспомнить решения и выводы по конкретной теме, обсуждавшейся во время встречи. Просмотр записей видеоконференций отнимает много времени, поскольку пользователю приходится просматривать и прослушивать большую часть собрания, чтобы не пропустить нужную информацию.

Попытка найти информацию по конкретной теме, не зная точного дня и времени встречи, представляется невозможной, так же как и поиск встреч с конкретным участником. Таким образом, хранение записей собраний создает гораздо меньшую ценность, чем могло бы.

Компания НейроСистемс создала интеллектуальное решение для видеоаналитики, основанное на компьютерном зрении и технологии обработки естественного языка. Система анализирует записи видеоконференций и дополняет видео метаданными для преобразования хранилища видео в структурированную базу знаний с возможностью поиска.

Алгоритмы машинного обучения используют технологии распознавания лиц, артикуляции и речи для преобразования аудио в текст и сопоставления определенных фраз с говорящими. Также мы создали пользовательский портал, позволяющий фильтровать записи по участникам, просматривать их по ключевым словам, произнесенным во время собрания, и переходить непосредственно к целевому моменту записи со страницы результатов поиска.

Навигация в пределах одной записи видеоконференции позволяет пользователям видеть временные метки активности выбранного докладчика и переходить непосредственно к нужному фрагменту.

Простое хранилище видеофайлов превратилось в мощную базу знаний, позволяющую пользователям находить нужную им информацию проще и быстрее. Этот факт приводит к принятию более правильных решений, ускорению процесса обучения и уменьшению количества ошибок. Коммерческая эффективность хранения данных возросла во много раз.

Сохраненные видеоконференции обрабатываются несколькими алгоритмами машинного обучения: #NLP преобразует речь в текст, следующий алгоритм выполняет распознавание лиц, другой идентифицирует активность говорящих по движению губ, чтобы связать фразы с соответствующими спикерами. Собранная информация структурируется в метаданные, относящиеся к видео, и хранится в базе данных.

Портал самообслуживания пользователей позволяет пользователям сортировать и фильтровать видео по участникам, темам, названию видео, дате и продолжительности. Внутренняя поисковая система портала помогает пользователям находить определенные моменты внутри видео и переходить непосредственно к нужным фрагментам, нажимая на элемент в результатах поиска.

Система может развиваться, добавляя новые функции: распознавание жестов для создания закладок или других целей, распознавание или обнаружение конкретных объектов и т.д. Существует много направлений для развития систем. Например, мы можем добавить функционал автоматической рассылки протоколов собраний по электронной почте с обязательствами и заключением собрания участникам собрания.