Em um hotel em Nova York, fiquei em um terraço em um dia quente de setembro, me inclinando e acariciando um animal de estimação adorável que não estava lá. O amigo virtual Peridot pulou e me seguiu. É muito parecido com outros animais de estimação virtuais que experimentei em telefones e até fones de ouvido como o Meta Quest 3. Desta vez, eu o vi projetado através de lentes transparentes que escurecem automaticamente como óculos de sol para garantir que a experiência virtual fosse vista claramente na luz do dia. Tudo o que eu usei foi este par de óculos robustos, mas autônomos: os novos óculos AR da Snap. Eles são o futuro de algo que eu posso usar algum dia? Se sim, quanto tempo vai demorar até que isso aconteça?
Eu vi muitos vídeos virais no começo deste ano de pessoas usando Visão Pro da Apple fone de ouvido para fora, para esquiar, patinar, no parque… onde quer que seja. Os fones de ouvido Vision Pro e Quest 3 não são feitos para uso diário ao ar livremas os óculos de RA da Snap são. Anunciados na conferência de desenvolvedores da empresa em Los Angeles, eles são a mais recente iteração dos óculos que a Snap fez durante anos. A Snap criou os primeiros óculos de RA autônomos em 2021; Eu tentei aqueles no meu quintal durante a pandemia. Os novos Spectacles são maiores, mas também são mais poderosos. Eles têm gestos de mão como o Vision Pro e o Quest 3, e também um Snap OS completo que pode executar um navegador, iniciar diferentes aplicativos e se conectar com telefones próximos.
Esses óculos Snap nem são feitos para pessoas comuns. Eles são hardware de desenvolvedor que está sendo oferecido por assinatura, por US$ 99 por mês como parte do kit de desenvolvedor da Snap. Isso é um sinal de que a Snap sabe que o mundo ainda não está pronto para óculos de RA, e nem a tecnologia de consumo. A Snap está dando um passo à frente dos concorrentes.
Assista a isto: Usei os novos óculos de realidade aumentada autônomos da Snap e o Snap OS
Empresas como a Meta — e provavelmente Google e Apple — estão tentando criar óculos de RA menores que possam superar as limitações mais robustas dos óculos de realidade virtual (RV) de realidade mista. Eu vi tentativas para fazer óculos como esses, mas eles geralmente precisam ser conectados a telefones, computadores ou processadores externos de algum tipo para funcionar e manter os óculos pequenos.
Os óculos AR da Snap colocam todo o processamento e bateria diretamente nos óculos — nada mais é necessário. Isso significa que eles podem ser usados facilmente sem cabos extras, mas os óculos em sua forma atual são robustos e muito mais estranhos do que quaisquer óculos que eu já coloquei no meu rosto. As armações são grossas, e as lentes ainda têm manchas semelhantes a arco-íris no meio, onde guias de onda refletem imagens virtuais projetadas de miniprojetores LCOS montados na lateral.
Os novos Spectacles têm hastes grossas que contêm os processadores, projetores e baterias.
A duração da bateria também é extremamente limitada. Com cerca de 45 minutos, eles estão longe de ser qualquer coisa para uso durante o dia todo. Embora, como a versão 2021 dos óculos de RA da Snap, eles ainda sejam projetados para desenvolvedores. De acordo com o CTO e cofundador da Snap, Bobby Murphy, esses são dispositivos exploratórios para ver como as lentes habilitadas para RA existentes da Snap no aplicativo de telefone Snapchat podem dar um salto útil para a forma de óculos.
Essa é exatamente a mesma abordagem que o Snap adotou em 2021, mas com um aumento no poder de processamento. A bordo estão dois processadores Qualcomm (não me disseram quais) que entregaram alguns gráficos bem nítidos, embora às vezes gaguejantes. Os óculos têm apenas um ângulo de visão de 46 graus, o que é OK para óculos de RA, mas muito menos do que headsets de RV. Parecia que eu estava assistindo a uma realidade mista através de uma janela alta e estreita, com as dimensões de uma tela grande de telefone.
Uma grande diferença entre minha demonstração de 2021 e agora são as lentes de prescrição. Tive que usar lentes de contato da última vez, mas lentes de encaixe semelhantes às que a Meta e a Apple já oferecem funcionarão para esses óculos. Infelizmente, a Snap não tinha minha prescrição durante a demonstração, então minha manhã de RA foi um pouco confusa. Foi bom o suficiente para ver experiências.
Uma imagem do Snap de como experiências compartilhadas em grupo com rastreamento de mãos podem funcionar. Com óculos, o campo de visão é mais estreito do que minha própria visão.
Rastreamento de mão, mas sem rastreamento de olho
Os Spectacles da Snap usam câmeras externas para rastrear o mundo, mas adicionam rastreamento de mão como os headsets Apple Vision Pro e Meta Quest. Eu consegui tocar em botões virtuais, acariciar criaturas virtuais, pintar no ar ou beliscar coisas à distância. O Snap OS tem um painel de aplicativos que flutua no ar, além de botões virtuais que aparecem sobre minha mão quando eu a viro.
Os Spectacles não têm rastreamento ocular, então selecionar objetos exige um pouco mais de esforço do que o Vision Pro de seleção rápida da Apple. Os telefones também podem se conectar aos óculos, oferecendo outra maneira de interagir.
Uma extensão para telefones
Uma coisa que é diferente na abordagem do Snap em comparação com a Meta ou mesmo a Apple agora é que ela está interconectada com telefones. Eu tentei várias demonstrações onde usei um telefone próximo para controlar experiências de RA nos óculos. Eu usei um telefone como um controle remoto para pilotar um helicóptero de RA ao redor da sala, usando botões na tela para controles. Eu também segurei um telefone como um taco de golfe e balancei para dar a tacada inicial em um campo de golfe de RA que parecia estar meio teletransportado para o quarto de hotel em que eu estava.
O aplicativo de telefone Snapchat da Snap gerenciará os óculos e também permitirá que qualquer outra pessoa se conecte e visualize as experiências de RA que estou vendo nos óculos. De acordo com a Snap, o objetivo de longo prazo é que os telefones que usam o Snapchat interajam com esses óculos.
“Nós definitivamente achamos que há muito espaço aberto para continuar explorando essa conexão entre telefones e Spectacles”, Murphy, da Snap, me disse.
O aplicativo de telefone do Snap funciona como um painel de controle opcional para os óculos e também pode se tornar um controlador.
No curto prazo, os óculos são feitos apenas para funcionar com outros usuários de óculos de RA, e provavelmente por um bom motivo: os sistemas operacionais de telefone ainda não funcionam bem com óculos de RA. Tanto a Apple quanto o Google não fizeram movimentos para fazer com que os fones de ouvido e os óculos pareçam realmente integrados e, até que o façam, outras empresas estão enfrentando um gargalo de compatibilidade, a menos que usem aplicativos de telefone dedicados ou, como Xrealconstruir seu próprio hardware personalizado semelhante ao de um telefone. Mesmo assim, a conectividade não é ideal.
Estale já tem uma ampla gama de ferramentas de RA em seu aplicativo de telefone Snapchat, desde experiências colaborativas de varredura do mundo até RA específica de localização. Os recursos de RA do Snap melhoraram desde 2021, e esses novos óculos podem tirar proveito disso.
Trabalhando com grupos
Uma coisa que tentei foi pintura colaborativa. Usei meus dedos para desenhar no ar enquanto um dos membros da equipe do Snap desenhava ao meu lado, usando outro par de Spectacles. Os óculos podem reconhecer outro usuário próximo e compartilhar uma experiência ou até mesmo colaborar para escanear uma sala com as quatro câmeras de bordo em uma malha para realidade mista.
A conexão no quarto de hotel nem sempre foi instantânea, mas essa colaboração de óculos para óculos é uma grande parte do argumento aqui. O Snap pretende ter experiências multijogador com grupos acontecendo em áreas externas, talvez até mesmo museus ou exposições de arte, para testar o quão bem elas podem funcionar para ativações imersivas ao vivo. Uma experiência de construção de peças de Lego era simples, mas mostrou possibilidades se um grupo de pessoas pudesse fazer uma escultura específica do local juntas.
Esses óculos, feitos para serem usados ao ar livre, têm lentes com escurecimento automático semelhantes à tecnologia Salto Mágico 2. O Magic Leap 2 tem um grande processador externo de encaixe.
Alguns dos primeiros parceiros com os quais a Snap está trabalhando incluem a Niantic — mais conhecida por Pokémon Go e uma empresa que também está explorando um futuro de óculos AR para exterior por anos. Outro parceiro, ILM Immersive, já fez Guerra nas Estrelas e Experiências Marvel em headsets de VR e realidade mista.
Óculos com lentes de prescrição dentro. Tentei corresponder à minha própria visão o melhor que pude para a demonstração.
Serão estas uma porta de entrada para mais dispositivos vestíveis de IA e RA?
O Snap também fez parceria com a OpenAI, um movimento que dificilmente parece surpreendente para 2024. Nesta primavera, uma onda de wearables de IA equipados com câmera, incluindo Ray-Bans da Meta e o Pin de IA Humanatentou mostrar promessas de IA generativa “multimodal” que poderia acessar câmeras e entradas de áudio juntas para assistência ou para aplicativos criativos de IA generativa. Headsets de realidade mista como o Meta Quest 3 e o Apple Vision Pro ainda não aproveitaram a IA habilitada para câmera porque as permissões de câmera foram mais bloqueadas para desenvolvedores.
O Snap está abrindo mais o acesso à câmera: os hook-ins OpenAI podem usar as câmeras e microfones dos óculos para aplicativos de lentes de IA generativas, semelhantes ao que está disponível agora no aplicativo de telefone do Snapchat. (O Snap também está habilitando o acesso à câmera para aplicativos de RA, mas o acesso online é bloqueado para esses aplicativos, enquanto o acesso à câmera é aberto online para conexões OpenAI.)
“Onde as pessoas podem querer usar serviços externos, exerceremos mais cautela e controle e trabalharemos potencialmente com desenvolvedores ou provedores de serviços terceirizados para construir esses tipos de salvaguardas”, diz Murphy. No aplicativo de telefone Snapchat, já existem ferramentas de IA generativas que usam a câmera. Podemos finalmente ver alguns deles migrando para óculos agora também.
Tentei gerar alguns emojis 3D usando a IA generativa do Snap, bem como navegar em um aplicativo educacional de lentes do sistema solar que atendia minhas solicitações usando minha voz. Descobri que as respostas durante minhas demonstrações eram lentas e os óculos nem sempre entendiam o que eu estava dizendo (embora essa fosse potencialmente a conexão no quarto do hotel ou outra coisa). A abertura do Snap de acesso à câmera para RA infundida com IA parece um passo à frente de onde a Meta e a Apple estão atualmente. Isso pode mudar em breve: a Meta deve apresentar novas atualizações de IA e RA em breve, enquanto a Apple pode introduzir Recursos do Apple Intelligence no Vision Pro próximo ano.
