Quelle est la prochaine étape au-delà des appels Zoom et FaceTime ? Que diriez-vous de diffuser d'un appareil à l'autre en temps réel en utilisant la réalité augmentée ? C'est la prémisse derrière une startup appelée beem annonçant sa première application client, avec un tour de table de 4 millions de dollars, et son plan à long terme pour devenir une technologie de communication pour les lunettes de réalité augmentée (RA) du futur.
Les clients sont initiés à la technologie AR via des interactions avec Snapchat Lenses et TikTok Effects, via des jeux mobiles comme Pokémon Go, et en visualisant des produits qu'ils envisagent d'acheter, tels que des meubles à placer dans leur chambre ou du maquillage à essayer virtuellement via un filtre AR. . Mais utiliser AR pour la téléprésence, comme prévu beem, n'est pas un cas d'utilisation courant.
L'idée de la startup vient d'un fondateur qui a grandi sans grand accès à la technologie. Le directeur exécutif de beemJanosch Amstutz décrit ses parents comme des "hippies" qui vivaient dans une petite ville balnéaire australienne, Byron Bay, où ils élevaient des vaches et des poulets, utilisaient l'énergie solaire, récupéraient l'eau de pluie et n'avaient même pas de téléphone, juste une radio bidirectionnelle. .que la communauté partagerait.
"Nous mettons beaucoup l'accent sur la communication en face à face", explique-t-il à propos du manque de technologie moderne dans son environnement.
Pendant ce temps, les communications ont continué d'évoluer des téléphones domestiques aux téléphones portables en passant par Skype. "Mais ensuite nous nous sommes arrêtés", explique Amstutz. « La prémisse de beem est qu'il y aura une prochaine étape inévitable dans la façon dont les humains communiquent numériquement, qui sera plus crédible et plus immersive que de passer un appel vidéo.
Amstutz s'est d'abord rebellé contre son éducation en travaillant dans le commerce des matières premières physiques dans l'industrie sidérurgique. Mais il n'a pas trouvé le travail satisfaisant. Il s'est finalement rendu compte qu'il voulait faire autre chose, et plus précisément il voulait s'attaquer au problème de l'évolution de la communication moderne.
Le fondateur a réuni une équipe d'informaticiens et de chercheurs pour travailler sur le concept, qui comprend aujourd'hui le chef de produit Damian Hickey, anciennement chef de produit chez AR Pioneer Blippar ; et Denis Islamov, co-fondateur et CTO, dont la formation est en mathématiques appliquées et en physique.
Après sa fondation officielle en 2017, beem (précédemment Bonjourmoi) n'était pas entièrement destiné au marché de la consommation. Au lieu de cela, il a développé des projets et des campagnes de réalité augmentée pour des marques, des entreprises et d'autres organisations. Exemples Ce sont des campagnes pour Vogue, Carolina Herrera, Hermes, Louis Vuitton, H&M, Forever 21, Warner Music, LADBible (en association avec KSI et Craig David), l'armée britannique, TEDx et bien d'autres.
Pendant ce temps, la technologie beem il a été utilisé pour diffuser la musique d'un artiste en RA, organiser une conférence en direct au domicile des utilisateurs en RA, créer des "passerelles virtuelles" et créer d'autres types d'expériences de RA pour leurs clients.
Cette expérience a permis beem être maintenu au fur et à mesure qu'il testait et faisait progresser sa technologie, mais l'entreprise n'a jamais été conçue pour être un studio de développement, dit Amstutz, elle voulait offrir une expérience consommateur.
Avec l'application mobile beem, l'objectif est de mettre ce type d'expérience AR en direct, ou de type 3D, entre les mains des clients finaux.
Pour travailler, les utilisateurs téléchargent l'application beem pour iOS o Android et se positionner dans le viseur de l'appareil photo soit en montant le téléphone pour capturer l'image complète, soit en demandant à un tiers de les enregistrer. beem prend la vidéo, segmente l'humain dans la vidéo loin de l'arrière-plan à l'aide de ses algorithmes de vision par ordinateur propriétaires et de son infrastructure cloud, traite l'actif en temps réel et le conditionne pour le spectateur.
Le destinataire reçoit le lien qu'il ouvre dans le navigateur de son appareil mobile, où il est dirigé vers un microsite activé pour chaque interaction de type RA. beem accède à l'accéléromètre du téléphone, permettant aux calculs sur le serveur de fausser et de transformer le flux vidéo de l'expéditeur dans son propre espace pour lui donner l'illusion de la tridimensionnalité.
Le destinataire décroche son téléphone et place la personne "diffusée en direct" dans son propre espace en touchant un point sur le sol, comme il le fait avec d'autres outils AR.
Le résultat final est ce qui semble être une sorte d'hologramme de la personne dans l'espace du spectateur, lui parlant en temps réel. Vous pouvez zoomer sur la personne ou la déplacer, mais vous ne pouvez pas la voir de tous les côtés, car cet aspect n'a pas été capturé dans la vidéo originale. La qualité n'est pas aussi bonne que, disons, ce mignon AR sur TikTok o Les animaux en RA de Google mais c'est intelligent puisque c'est en direct.
« Nous n'avons pas besoin d'être super techniques… Nous avons besoin que l'esprit du spectateur croie que ce qu'il voit est un véritable être humain et cela suffit », déclare Amstutz.
Utilisateurs beem ils peuvent utiliser l'application pour héberger des "conférences", comme les appels AR Zoom, où ils diffusent la version holographique d'eux-mêmes jusqu'à 25 personnes avec un son bidirectionnel. Ils peuvent également lancer des diffusions en direct unidirectionnelles vers un public plus large ou envoyer des messages vidéo préenregistrés.
beem il a demandé des brevets sur son infrastructure de moteur et des brevets spécifiques sur différents éléments de sa technologie, tels que la segmentation vidéo, son expérience Web propriétaire et sa méthode de création d'expériences de type 3D sans être "vraiment" 3D. Deux, jusqu'à présent, ont été atteints.
À ce jour, l'application a été adoptée par certains TikTokeursinclus Lev Cameron, Jake Joseph Everett Rosey Michel Fallon. Au Royaume-Uni, beem il s'est également associé à un groupe d'écoles qui ont testé la technologie pour les communications enseignant-élève, avec des plans pour un déploiement auprès de 750 000 élèves. Pendant la Saint-Valentin, les utilisateurs de beem ils ont envoyé plus de 1500 messages AR.
beem il a maintenant une cadence d'environ 500 messages par jour et a enregistré environ 14,2 millions de vues "beem" au cours des six dernières semaines, selon la société.
Cependant, la réalité est que le cas d'utilisation par le consommateur de beem c'est toujours un peu compliqué : vous devez monter le téléphone ou demander à quelqu'un de le tenir, de vous enregistrer, et lors de l'enregistrement d'un message, il y avait un délai de quelques minutes pendant qu'il était traité avant que le lien puisse être partagé.
Cependant, Amstutz dit que le cas d'utilisation idéal de beem ce ne sera pas le téléphone portable.
"La circonstance idéale pour que la téléprésence bidirectionnelle se produise est de porter une paire de lunettes de réalité augmentée et d'avoir simplement une webcam de suivi dans la pièce", explique-t-il. "Donc, vous pourriez essentiellement donner des commandes vocales aux lunettes... et ensuite la webcam de suivi saura qu'il est temps de me suivre et de m'enregistrer, de vous envoyer, et je vous verrai dans mon espace en même temps et vice-versa versa."
Le fondateur dit que beem a un prototype d'expérience de lunettes AR sur lequel il travaille pour un ensemble de lunettes AR, développé par une société non divulguée et un important fournisseur de puces. Mais finalement beem veut apporter ce système à toutes les lunettes AR à l'avenir.
Parallèlement au lancement de son application grand public, beem annonce un financement de démarrage de 4 millions de dollars de la part de 5 Lion, Ascension Ventures, Grouport Ventures, Inertia Ventures, Lior Messika et d'autres investisseurs stratégiques. Les fonds serviront à développer l'équipe et à développer davantage leur produit pour être prêt pour les lunettes AR sur les marchés de consommation.
"L'innovation dans la RA crée d'énormes opportunités pour une variété de marchés différents, et l'impact potentiel de la RA est colossal", a déclaré l'investisseur de beem, Lior Messika. « La technologie de beem il crée l'infrastructure grâce à laquelle la réalité augmentée peut devenir véritablement accessible et virale. La transition mondiale vers le numérique se produit rapidement et beem Il est à l'avant-garde », a-t-il ajouté.
