EXP-004Lab / Experiment
AI × XR Agent
Um agente que interpreta contexto espacial e conversa com o usuário dentro da experiência imersiva.
Code
EXP-004
Status
Exploration
Technologies
AI APIs / WebXR
Temas
AIWebXRSpatial
Objetivo
Testar se um agente que recebe descrição do ambiente responde melhor dentro de uma cena imersiva do que um chat que não sabe onde o usuário está.
Abordagem
- 01O estado da cena é resumido em texto curto e enviado como contexto a cada pergunta.
- 02Respostas limitadas a ações que existem na cena, para o agente não prometer o impossível.
- 03Voz para entrada e resposta, mantendo as mãos livres.
Arquitetura
- Contexto
- Serializador que transforma objetos visíveis e foco atual em um resumo textual.
- Modelo
- Chamada a API de IA no servidor, com a chave fora do navegador.
- Ações
- Catálogo fechado de comandos da cena; a resposta é mapeada para um deles ou recusada.
- Voz
- Reconhecimento e síntese do navegador, com fila para não sobrepor falas.
Resultados
- O agente só passa a ser útil quando enxerga o mesmo que o usuário: sem contexto de cena, vira um chat deslocado.
- Restringir a resposta a um catálogo de ações eliminou instruções impossíveis de executar.
- Latência é o limite do formato; memória curta por sessão é o próximo passo para reduzir repetição de contexto.
What is being tested
- Descrição do ambiente como contexto para o modelo
- Latência aceitável para respostas em cena
- Comandos de voz mapeados para ações espaciais
Learnings / next steps
- O agente vira útil quando enxerga o mesmo que o usuário.
- Próximo passo: memória curta por sessão espacial.