Qual é o próximo passo além das chamadas Zoom e FaceTime? Que tal fazer streaming de um dispositivo para outro em tempo real usando realidade aumentada? Essa é a premissa por trás de uma startup chamada beem anunciando seu primeiro aplicativo para clientes, com uma rodada inicial de US$ 4 milhões, e seu plano de longo prazo para se tornar uma tecnologia de comunicação para os óculos de Realidade Aumentada (AR) do futuro.
Os clientes são apresentados à tecnologia AR por meio de interações com Snapchat Lenses e TikTok Effects, por meio de jogos para celular como Pokémon Go e visualizando produtos que estão pensando em comprar, como móveis para colocar em seu quarto ou maquiagem sendo experimentada virtualmente por meio de um filtro AR . Mas usar AR para telepresença, como pretendido beem, não é um caso de uso comum.
A ideia da startup vem de um fundador que cresceu sem muito acesso à tecnologia. O diretor executivo da beemJanosch Amstutz descreve seus pais como "hippies" que viviam em uma pequena cidade litorânea australiana, Byron Bay, onde criavam vacas e galinhas, usavam energia solar, coletavam água da chuva e nem sequer tinham telefone, apenas um rádio bidirecional. . que a comunidade compartilharia.
“Damos muita ênfase à comunicação face a face”, explica ele sobre a falta de tecnologia moderna em seu ambiente.
Enquanto isso, as comunicações continuaram a evoluir de telefones residenciais para celulares e Skype. "Mas então paramos", diz Amstutz. “A premissa de beem é que haverá um próximo passo inevitável na forma como os humanos se comunicam digitalmente, que é mais crível e mais imersivo do que fazer uma chamada de vídeo.”
Amstutz inicialmente se rebelou contra sua educação trabalhando no comércio de commodities físicas na indústria do aço. Mas ele não achou o trabalho satisfatório. Ele finalmente percebeu que queria fazer outra coisa e, especificamente, queria enfrentar o problema da evolução da comunicação moderna.
O fundador reuniu uma equipe de cientistas da computação e pesquisadores para trabalhar no conceito, que hoje inclui o gerente de produto Damian Hickey, ex-gerente de produto da AR Pioneer Blippar; e Denis Islamov, cofundador e CTO, cuja formação é em matemática aplicada e física.
Após sua fundação oficial em 2017, beem (anteriormente Olá eu) não se destinava inteiramente ao mercado consumidor. Em vez disso, ele desenvolveu projetos e campanhas de realidade aumentada para marcas, empresas e outras organizações. Exemplos São campanhas para Vogue, Carolina Herrera, Hermes, Louis Vuitton, H&M, Forever 21, Warner Music, LADBible (em associação com KSI e Craig David), Exército Britânico, TEDx e muitos outros.
Nesse período, a tecnologia beem ele foi usado para transmitir a música de um artista em AR, entregar uma conferência ao vivo nas casas dos usuários em AR, criar "passarelas virtuais" e criar outros tipos de experiências de AR para seus clientes.
Essa experiência permitiu beem ser mantida à medida que testou e avançou sua tecnologia, mas a empresa nunca teve a intenção de ser um estúdio de desenvolvimento, diz Amstutz, queria oferecer uma experiência ao consumidor.
Com o aplicativo móvel beem, o objetivo é colocar esse tipo de experiência em AR ao vivo, ou experiência semelhante a 3D, nas mãos dos clientes finais.
Para funcionar, os usuários baixam o aplicativo beem para iOS o Android e se posicionem no visor da câmera montando o telefone para capturar o quadro completo ou fazendo com que um terceiro os grave. beem pega o vídeo, segmenta o humano no vídeo longe do fundo usando seus algoritmos de visão computacional e infraestrutura de nuvem proprietários, processa o ativo em tempo real e o empacota para o espectador.
O destinatário recebe o link que abre no navegador de seu dispositivo móvel, onde é direcionado para um microsite que é ativado para cada interação no estilo AR. beem acessa o acelerômetro do telefone, permitindo que os cálculos no servidor distorçam e transformem o fluxo de vídeo do remetente em seu próprio espaço para dar a ilusão de tridimensionalidade.
O destinatário pega o telefone e coloca a pessoa "transmitida ao vivo" em seu próprio espaço tocando em um ponto no chão, como fazem com outras ferramentas de RA.
O resultado final é o que parece ser uma espécie de holograma da pessoa no espaço do espectador, falando com ela em tempo real. Você pode ampliar a pessoa ou movê-la, mas não pode vê-la de todos os lados, pois esse aspecto não foi capturado no vídeo original. A qualidade não é tão boa quanto, digamos, aquele AR fofo no TikTok o Animais AR do Google mas é inteligente porque é ao vivo.
“Não precisamos ser super técnicos… Precisamos que a mente do espectador acredite que o que está vendo é um ser humano real e isso basta”, diz Amstutz.
Usuários beem eles podem usar o aplicativo para hospedar "conferências", como chamadas AR Zoom, onde transmitem a versão holográfica de si mesmos para até 25 pessoas com áudio bidirecional. Eles também podem lançar transmissões ao vivo unidirecionais para um público maior ou enviar mensagens de vídeo pré-gravadas.
beem ela solicitou patentes em sua infraestrutura de mecanismo e patentes específicas em diferentes partes de sua tecnologia, como segmentação de vídeo, sua experiência na web proprietária e seu método de criar experiências semelhantes a 3D sem "realmente" ser 3D. Dois, até agora, foram alcançados.
Até o momento, o aplicativo foi adotado por alguns TikToker, Incluindo Lev Cameron, Jake Joseph Everett Rosey Michael Fallon. No Reino Unido, beem também fez parceria com um grupo de escolas que testou a tecnologia para comunicação professor-aluno, com planos de implantação para 750 alunos. Durante o Dia dos Namorados, os usuários de beem eles enviaram mais de 1500 mensagens AR.
beem ele agora tem uma cadência de cerca de 500 mensagens por dia e teve cerca de 14,2 milhões de visualizações "beem" nas últimas seis semanas, diz a empresa.
No entanto, a realidade é que o caso de uso do consumidor de beem ainda é um pouco complicado: você tem que montar o telefone ou ter alguém para segurá-lo, gravar a si mesmo e, ao gravar uma mensagem, houve um atraso de alguns minutos enquanto ela era processada antes que o link pudesse ser compartilhado.
No entanto, Amstutz diz que o caso de uso ideal de beem não será o celular.
“A circunstância ideal para que ocorra a telepresença bidirecional é usar um par de óculos de realidade aumentada e simplesmente ter uma webcam de rastreamento na sala”, explica ele. "Então você pode basicamente dar comandos de voz aos óculos... e então a webcam de rastreamento saberá que é hora de me rastrear e me gravar, me enviar para você, e eu te verei no meu espaço ao mesmo tempo e vice-versa. vice-versa."
O fundador diz que beem tem um protótipo de uma experiência de óculos AR que está trabalhando para um conjunto de óculos AR, desenvolvido por uma empresa não revelada e um grande fornecedor de chips. Mas em última análise beem quer trazer este sistema para qualquer óculos AR no futuro.
Junto com o lançamento de seu aplicativo de consumo, beem anuncia US$ 4 milhões em financiamento inicial de 5 Lion, Ascension Ventures, Grouport Ventures, Inertia Ventures, Lior Messika e outros investidores estratégicos. Os fundos serão destinados ao crescimento da equipe e ao desenvolvimento de seus produtos para estarem prontos para óculos AR nos mercados de consumo.
“A inovação em AR está criando enormes oportunidades para uma variedade de mercados diferentes, e o impacto potencial da AR é colossal”, disse o investidor da beem, Lior Messika. “A tecnologia de beem ele cria a infraestrutura por meio da qual a RA pode se tornar verdadeiramente acessível e viral. A mudança global para o digital está acontecendo de forma rápida e beem Está na vanguarda”, acrescentou.
