Qual è il prossimo passo oltre le chiamate Zoom e FaceTime? Che ne dici di eseguire lo streaming da un dispositivo all'altro in tempo reale utilizzando la realtà aumentata? Questa è la premessa dietro una startup chiamata beem annunciando la sua prima app per i clienti, con un round iniziale di $ 4 milioni, e il suo piano a lungo termine per diventare una tecnologia di comunicazione per gli occhiali per realtà aumentata (AR) del futuro.
I clienti vengono introdotti alla tecnologia AR attraverso le interazioni con le lenti Snapchat e gli effetti TikTok, attraverso giochi per dispositivi mobili come Pokémon Go e visualizzando i prodotti che stanno valutando di acquistare, come i mobili da posizionare nella loro stanza o il trucco provato virtualmente attraverso un filtro AR . Ma usando AR per la telepresenza, come previsto beem, non è un caso d'uso comune.
L'idea per la startup viene da un fondatore che è cresciuto senza molto accesso alla tecnologia. Il direttore esecutivo di beemJanosch Amstutz descrive i suoi genitori come "hippies" che vivevano in una piccola località balneare australiana, Byron Bay, dove allevavano mucche e galline, usavano l'energia solare, raccoglievano l'acqua piovana e non avevano nemmeno un telefono, solo una radio ricetrasmittente .che la comunità condividerebbe.
"Diamo grande importanza alla comunicazione faccia a faccia", spiega della mancanza di tecnologia moderna nel suo ambiente.
Nel frattempo, le comunicazioni hanno continuato ad evolversi dai telefoni di casa ai cellulari a Skype. "Ma poi abbiamo smesso", dice Amstutz. “La premessa di beem è che ci sarà un inevitabile passo successivo nel modo in cui gli esseri umani comunicano digitalmente che è più credibile e più coinvolgente rispetto a una videochiamata".
Amstutz inizialmente si ribellò alla sua educazione lavorando nel commercio di materie prime nell'industria siderurgica. Ma non ha trovato il lavoro soddisfacente. Alla fine ha capito che voleva fare qualcos'altro, e nello specifico voleva affrontare il problema dell'evoluzione della comunicazione moderna.
Il fondatore ha riunito un team di informatici e ricercatori per lavorare sul concetto, che oggi include il Product Manager Damian Hickey, ex Product Manager di AR Pioneer Blippar; e Denis Islamov, co-fondatore e CTO, il cui background è in matematica applicata e fisica.
Dopo la sua fondazione ufficiale nel 2017, beem (in precedenza CiaoMe) non era interamente rivolto al mercato dei consumatori. Invece, ha sviluppato progetti e campagne di realtà aumentata per marchi, aziende e altre organizzazioni. Esempi Sono campagne per Vogue, Carolina Herrera, Hermes, Louis Vuitton, H&M, Forever 21, Warner Music, LADBible (in associazione con KSI e Craig David), British Army, TEDx e molti altri.
In questo periodo, la tecnologia beem è stato utilizzato per trasmettere in streaming la musica di un artista in AR, tenere una conferenza dal vivo nelle case degli utenti in AR, creare "passerelle virtuali" e creare altri tipi di esperienze AR per i propri clienti.
Questa esperienza ha permesso beem essere mantenuto mentre testava e faceva avanzare la sua tecnologia, ma l'azienda non è mai stata concepita per essere uno studio di sviluppo, afferma Amstutz, voleva offrire un'esperienza al consumatore.
Con l'applicazione mobile beem, l'obiettivo è mettere questo tipo di esperienza AR dal vivo, o simile al 3D, nelle mani dei clienti finali.
Per lavorare, gli utenti scaricano l'app beem per iOS o Android e posizionarsi nel mirino della fotocamera montando il telefono per acquisire l'intero fotogramma o facendoli registrare da una terza parte. beem prende il video, segmenta l'essere umano nel video lontano dallo sfondo utilizzando i suoi algoritmi di visione artificiale e l'infrastruttura cloud proprietari, elabora la risorsa in tempo reale e la impacchetta per lo spettatore.
Il destinatario riceve il collegamento che apre nel browser del proprio dispositivo mobile, dove viene indirizzato a un microsito che viene attivato per ogni interazione in stile AR. beem accede all'accelerometro del telefono, consentendo ai calcoli sul server di distorcere e trasformare il flusso video del mittente nel proprio spazio per dargli l'illusione della tridimensionalità.
Il destinatario prende il telefono e posiziona la persona "trasmessa in streaming" nel proprio spazio toccando un punto del pavimento, come fanno con altri strumenti AR.
Il risultato finale è quello che sembra essere una sorta di ologramma della persona nello spazio dell'osservatore, che gli parla in tempo reale. Puoi ingrandire la persona o spostarla, ma non puoi vederla da tutti i lati, poiché quell'aspetto non è stato catturato nel video originale. La qualità non è buona come, diciamo, quel simpatico AR su TikTok o Animali AR di Google ma è intelligente poiché è in diretta.
"Non abbiamo bisogno di essere super tecnici... Abbiamo bisogno che la mente dello spettatore creda che quello che sta vedendo è un vero essere umano e questo è abbastanza", dice Amstutz.
Utenti beem possono utilizzare l'app per ospitare "conferenze", come le chiamate AR Zoom, in cui trasmettono la versione olografica di se stessi a un massimo di 25 persone con audio bidirezionale. Possono anche lanciare trasmissioni live unidirezionali a un pubblico più ampio o inviare messaggi video preregistrati.
beem ha richiesto brevetti sulla sua infrastruttura del motore e brevetti specifici su diversi pezzi della sua tecnologia, come la segmentazione video, la sua esperienza web proprietaria e il suo metodo per creare esperienze simili al 3D senza essere "realmente" 3D. Due, finora, sono stati raggiunti.
Ad oggi l'app è stata adottata da alcuni TikToker, Compreso Leo Cameron, Jake Joseph Everett Rosey Michele Fallon. Nel regno unito, beem ha anche collaborato con un gruppo di scuole che hanno testato la tecnologia per le comunicazioni insegnante-studente, con piani per un'implementazione a 750 studenti. Durante il giorno di San Valentino, gli utenti di beem hanno inviato più di 1500 messaggi AR.
beem ora ha una cadenza di circa 500 messaggi al giorno e ha visto circa 14,2 milioni di visualizzazioni "beem" nelle ultime sei settimane, afferma la società.
Tuttavia, la realtà è che il caso d'uso del consumatore di beem è ancora un po' una seccatura: devi montare il telefono o chiedere a qualcuno di tenerlo in mano, registrarti e durante la registrazione di un messaggio, c'è stato un paio di minuti di ritardo durante l'elaborazione prima che il collegamento potesse essere condiviso.
Tuttavia, Amstutz afferma che il caso d'uso ideale di beem non sarà il cellulare.
"La circostanza ideale per la telepresenza bidirezionale è indossare un paio di occhiali per realtà aumentata e avere semplicemente una webcam di localizzazione nella stanza", spiega. "Quindi potresti praticamente dare comandi vocali agli occhiali... e poi la webcam di localizzazione saprà che è ora di rintracciarmi e registrarmi, mandarmi da te, e ti vedrò nel mio spazio allo stesso tempo e viceversa viceversa."
Lo dice il fondatore beem ha un prototipo di un'esperienza di occhiali AR su cui sta lavorando per un set di occhiali AR, sviluppato da una società sconosciuta e un importante fornitore di chip. Ma alla fine beem vuole portare questo sistema su tutti gli occhiali AR in futuro.
Insieme al lancio della sua app consumer, beem annuncia un finanziamento iniziale di 4 milioni di dollari da 5 Lion, Ascension Ventures, Grouport Ventures, Inertia Ventures, Lior Messika e altri investitori strategici. I fondi andranno a far crescere il team e sviluppare ulteriormente il loro prodotto per essere pronto per gli occhiali AR nei mercati di consumo.
"L'innovazione nell'AR sta creando enormi opportunità per una varietà di mercati diversi e il potenziale impatto dell'AR è colossale", ha affermato l'investitore di beem, Lior Messika. “La tecnologia di beem crea l'infrastruttura attraverso la quale l'AR può diventare veramente accessibile e virale. Il passaggio globale al digitale sta avvenendo rapidamente e beem È in prima linea", ha aggiunto.
