Github Лучший за день №1: Разработка AI-агента с речью в реальном времени, универсальный набор инструментов

Бывало ли у вас такое чувство, что хотите сделать простого AI-агента с речью, но застреваете на различных проблемах, например, кто-то в команде хорошо разбирается в Python, а кто-то отлично знает C++. Части, разработанные по отдельности, при объединении вызывают проблемы, настройка окружения может занять полдня, а расширение функциональности становится все более запутанным, и в конце концов весь энтузиазм пропадает.

Сегодня я представлю вам супер-удобный универсальный набор инструментов для разработки TEN-Framework.

Открытый исходный код: https://github.com/TEN-framework/ten-framework

TEN Framework как будто упаковывает все эти сложные вещи для вас. На самом деле это фреймворк, специально разработанный для создания многомодальных диалоговых AI в реальном времени. Вы можете представить его как готовую производственную линию AI-голосовых помощников. Модуль распознавания речи, модуль больших моделей, модуль синтеза речи - все это подготовлено для вас. Все, что вам нужно сделать, это собрать их в соответствии с вашими потребностями. Это намного проще, чем изобретать велосипед с нуля.

Что касается того, что он может делать конкретно, я сначала выберу несколько, которые кажутся мне более практичными. Первый - это многоцелевой голосовой помощник, поддерживающий два типа соединения: RTC и WebSocket, с низкой задержкой и хорошим качеством звука. Независимо от того, хотите ли вы создать интеллектуальную службу поддержки клиентов или личного голосового помощника, эта функция в основном может удовлетворить ваши потребности. Интересно, что у него есть генератор граффити, который рисует то, что вы говорите, в стиле ручной росписи. Эта функция должна быть очень популярна в демонстрационных или развлекательных сценариях.

Для сценариев многостороннего диалога также есть соответствующие решения. У него есть функция распознавания говорящего в реальном времени, которая может автоматически различать, кто говорит, поэтому вам не нужно беспокоиться о путанице при записи встреч или транскрибировании интервью. Что касается виртуальных аватаров, когда AI-помощник говорит, форма рта персонажа может идеально синхронизироваться с речью. Независимо от того, является ли это двухмерным аниме-персонажем или реалистичным трехмерным виртуальным человеком, форма рта может соответствовать речи. Это очень удобно для разработчиков, создающих виртуальных стримеров или персонализированных помощников.

Если вы хотите, чтобы он отвечал на телефонные звонки, он также поддерживает протокол SIP, и AI-помощник может напрямую отвечать на телефонные звонки. Эта функция очень полезна для корпоративных пользователей. Подключение интеллектуальной службы поддержки клиентов к телефонной системе может значительно сэкономить затраты на рабочую силу. Конечно, у него также есть базовая функция преобразования речи в текст, которая преобразует речь в текст в реальном времени, и ее можно использовать для протоколов встреч, создания субтитров и других сценариев.

В дополнение к стандартизированным процессам, он также имеет множество готовых шаблонов проектов, будь то шаблоны AI Agent или различные шаблоны расширений и приложений. Например, шаблоны расширений LLM, TTS, а также несколько шаблонов приложений по умолчанию на основных языках можно использовать напрямую. От создания нового проекта до запуска первой демонстрации требуется всего несколько минут, что значительно экономит время.

Если вы опытный разработчик, есть и продвинутые способы игры, например, вы можете создать высокопроизводительного голосового помощника в реальном времени, используя C++ для обработки аудио и видео в реальном времени, чтобы обеспечить низкую задержку, и используя Python для логического вывода LLM, чтобы помощник мог понимать и думать. Затем используйте Node.js для взаимодействия с внешним интерфейсом, чтобы пользователи могли легко управлять, и вся скорость разработки более чем в 3 раза выше, чем при традиционной разработке на одном языке.

Или объедините расширение TEN VAD для обнаружения голосовой активности, расширение TTS для преобразования текста в речь и расширение LLM, чтобы создать полностью автоматического интеллектуального диалогового робота. Расширения могут беспрепятственно соединяться друг с другом, и вам не нужно писать утомительный код интеграции самостоятельно.

В настоящее время этот фреймворк вот-вот преодолеет отметку в 10 000 звезд, если вам интересно, можете попробовать.