К содержимому
NEOBRIDGE INSIGHTПо вопросамinfo@neobridge.kz
⌕
Проекты и продукты

AIRI: цифровой персонаж с голосовым циклом и инструментами приложений

AIRI — самостоятельно размещаемый цифровой персонаж/компаньон с текстовым и голосовым общением, игровыми интеграциями и desktop-интерфейсом.

·26 источников·По описаниям проекта ↗
ОБСУДИТЬ И ПОДЕЛИТЬСЯ

Хорошая идея становится полезнее в разговоре.

01
КЛЮЧЕВЫЕ СВЕДЕНИЯ

Паспорт проекта

По первоисточникам
Тип
Проекты и продукты
Задача
Дать пользователю собственного цифрового персонажа для общения и совместных занятий в доступном ему окружении.
Для кого
Пользователи цифровых компаньонов и разработчики расширений раннего проекта.
Технологии
См. описание механизма
Что потребуется
Для desktop-разработки описан pnpm; desktop computer use на macOS требует Accessibility/Screen Recording, а доступ к инструментам определяется текущим…
Основание
26 первоисточников
02
СУТЬ

За 30 секунд

01 / Зачем

Дать пользователю собственного цифрового персонажа для общения и совместных занятий в доступном ему окружении.

02 / Как

Stage-приложения дают интерфейс и хранение; core-agent планирует генерацию, собирает контекст и выполняет раунды инструментов. VoiceController координирует аудио, транскрипцию и прерывание ответов.

03 / Результат

Ответы виртуального персонажа, синтезированная речь разных провайдеров, действия инструментов и сохранённая история раундов; при cloud sync передаётся только завершённый текст.

03
ПОСЛЕДОВАТЕЛЬНОСТЬ

Как это работает

01

На входе

Сообщения, изображения и файлы/URL; аудио передаётся только поддерживающей его модели, остальным — транскрипт. Текущий Responses adapter отдельно отвергает аудио и provider file IDs.

02

Механизм

Stage-приложения дают интерфейс и хранение; core-agent планирует генерацию, собирает контекст и выполняет раунды инструментов. VoiceController координирует аудио, транскрипцию и прерывание ответов.

03

Результат

Ответы виртуального персонажа, синтезированная речь разных провайдеров, действия инструментов и сохранённая история раундов; при cloud sync передаётся только завершённый текст.

04
ПОДРОБНОСТИ

Что важно понять

01

Техническое устройство

Conversation состоит из Turn; AssistantTurn содержит раунды вызова модели и инструментов. Stage подключает хранение/UI через порты; core-agent отделён от регистрации провайдеров, gateway-авторизации и биллинга. VoiceController связывает захват, транскрипцию и управляемое прерывание.

02

Для чего создано

Дать пользователю собственного цифрового персонажа для общения и совместных занятий в доступном ему окружении.

03

Для кого

Пользователи цифровых компаньонов и разработчики расширений раннего проекта.

04

Сценарии использования

Голосовое общение с персонажем, desktop-инструменты и локальная Minecraft-сессия на доверенном сервере. Это документированные возможности/сценарии, не доказательство реального внедрения.

05

Идея решения

Соединить виртуального персонажа с голосовым циклом и действиями в приложениях/играх; общий агентный runtime отделить от конкретных Stage-интерфейсов.

06

Какую задачу описывает источник

README описывает недостаток обычного чата с персонажем: хочется общаться во время игры/просмотра и давать персонажу доступ к происходящему на компьютере.

05
ГОТОВНОСТЬ К ПРОВЕРКЕ

Что известно из описания

Полнота описанияЗапуск не проверялся
МеханизмОписано
ТребованияОписано
ОграниченияОписано

Что потребуется

  • Для desktop-разработки описан pnpm; desktop computer use на macOS требует Accessibility/Screen Recording, а доступ к инструментам определяется текущим переключателем composer.
  • В новом desktop composer Use computer включён по умолчанию.
  • Для некоторых действий приложений на macOS дополнительно нужно разрешение Automation.

Что учитывать

  • Проект объявлен ранней разработкой.
  • Memory и полностью локальный browser WebGPU inference ещё не отмечены реализованными.
  • Minecraft разрешён документацией только для доверенных серверов: изоляция JS-планов не убирает риск для локальной машины.
  • У Kirie отложена производственная упаковка и остаётся сбой завершения CEF на Windows.
  • Отдельный Godot-движок описывает копирование сборки в ресурсы Electron; упаковка общего HDRI-ресурса не завершена.
  • Cloud sync переносит лишь завершённый текст, а realtime transport текущего Responses adapter не реализован; это отдельная граница от голосового интерфейса.
06
СМОТРИМ ГЛУБЖЕ

Комментарий NeoBridge

Общая справка

  • Stage и runtime — Stage — конкретное приложение-интерфейс; runtime — среда и логика исполнения действий агента.
  • Turn и раунд инструментов — Turn — ход разговора; один раунд связывает обращение к модели и запрошенные ею вызовы инструментов.
  • Транскрипт и TTS — Транскрипт — текст распознанной речи; TTS — преобразование текста в синтезированную речь.
  • Adapter и provider — Adapter согласует форматы и возможности интерфейсов; provider предоставляет модель или другой вычислительный сервис.
  • WebGPU и CEF — WebGPU даёт браузеру доступ к вычислениям графического процессора; CEF позволяет встроить браузерный компонент в приложение.
  • Accessibility и Screen Recording — Системные разрешения на взаимодействие с интерфейсом и получение изображения экрана; их выдача меняет объём доступа приложения.

Что стоит уточнить

  • Какой релиз и приложение нужны: браузерный Stage, Electron с Godot-движком или отдельный Kirie host; требуется ли desktop computer use? Проверить поддержку и разрешения по выбранному компоненту: ограничения упаковки Kirie не относятся автоматически к Godot-движку.
  • Какие модели/провайдеры должны обрабатывать аудио и файлы, и нужен ли перенос native continuation между устройствами? Поддержка входов и перенос истории ограничены конкретным adapter/sync.
  • Нужна ли текущая Mineflayer-интеграция на доверенном сервере или планируемый Fabric runtime? Сохранить security/deprecation границы игрового сценария.
↗
ОСНОВАНИЯ

Из первоисточников

26 ссылок

Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.

Независимое тестирование проекта не проводилось.

← Вернуться к проектам Продолжить исследование ↗