XDOF, avec ses 70 millions de données, résout le problème du goulot d'étranglement des données en robotique IA.

La décision récente d' OpenAI de relancer son programme de robotique, interrompu en 2021, est le signe le plus clair à ce jour d'une nouvelle course dans le secteur technologique : apprendre aux machines à interagir avec le monde physique. Cependant, la construction de robots véritablement performants se heurte à un obstacle fondamental que l'intelligence artificielle n'a pas encore surmonté : la rareté des données d'entraînement qui capturent l'interaction physique – un défi très différent de celui des modèles de langage entraînés sur l'immensité des textes disponibles sur Internet.

Ce fossé donne naissance à un nouveau type d'activité liée aux infrastructures. Contrairement aux modèles linéaires, les robots ont besoin de données reflétant les lois de la physique, et ce type d'information est extrêmement rare. Les vidéos YouTube ou les images prises par des humains sont de faible qualité et difficiles à corréler avec des actions physiques précises.

XDOF : L’infrastructure de données pour l’IA physique

C’est dans ce contexte qu’apparaît XDOF (prononcé « ecks-doff »), une start-up qui parie que le prochain grand goulot d’étranglement de l’IA ne sera ni les modèles ni les puces, mais la boucle de rétroaction des données nécessaire aux robots pour apprendre à interagir avec leur environnement.

70 M$
Fonds levés
20
Clients actifs
60
personnel

La société a levé 70 millions de dollars auprès d'un consortium d'investisseurs de premier plan, dont Thrive Capital , Spark Capital , a16z , Lux Capital et WndrCo . Son objectif est de concevoir les pipelines de données, les outils de collecte et les systèmes d'annotation que les laboratoires d'IA et les entreprises de robotique ne peuvent développer efficacement par eux-mêmes. Philippe Wu, cofondateur et PDG, confirme que XDOF travaille déjà avec 20 clients, dont plusieurs laboratoires d'IA de pointe, sans toutefois pouvoir divulguer leurs noms.

La prochaine frontière

« Tous les grands laboratoires cherchent à s’investir dans la robotique. Nous avons déjà constaté les inconvénients d’un retard dans la modélisation du langage… personne ne veut être à la traîne dans ce domaine. Nous sommes tous dans le même bateau : l’IA physique est le prochain défi », déclare Philippe Wu.

Profil : XDOF

XDOF est une jeune entreprise spécialisée dans les infrastructures de données. Elle fournit les outils et les jeux de données nécessaires à l'entraînement de modèles d'intelligence artificielle pour la robotique. L'entreprise se spécialise dans la collecte, le nettoyage et l'annotation des données d'interaction physique, une ressource essentielle et rare pour le développement de robots autonomes.

  • Siège : Région de la baie de San Francisco, États-Unis
  • Fondation: Octobre 2024 par Philippe Wu (CEO), Fred Shentu (CTO) et Nemo Jin (COO).
  • Note: Non divulgué.
  • Investisseurs clés : Thrive Capital, Spark Capital, a16z, Lux Capital, WndrCo.
  • Social: LinkedIn | X (Twitter)

Du problème académique à l'opportunité de marché

Wu a lui-même rencontré ce problème lors de son doctorat à l'UC Berkeley , où son objectif était de permettre aux robots d'apprendre des compétences à partir de vastes ensembles de données. « Nous ne disposions pas de données à grande échelle », explique-t-il. « C'était un cercle vicieux : il nous fallait collecter des données avant même de pouvoir envisager d'entraîner un modèle de base pour la robotique. »

Pour remédier à ce problème, Wu et son futur cofondateur et directeur technique de XDOF, Fred Shentu, ont développé GELLO , un système de téléopération à bas coût permettant à un opérateur humain de contrôler un bras robotisé afin de générer des données d'entraînement. Ce projet est devenu une référence dans le domaine et a été adopté par de nombreux chercheurs confrontés à des besoins similaires.

Saisissant cette opportunité, Wu, Shentu et le troisième cofondateur et directeur des opérations, Nemo Jin, ont lancé XDOF. L'entreprise se concentre non seulement sur la fourniture de données, mais aussi sur leur nettoyage, les outils et l'annotation, créant ainsi un circuit de rétroaction complet pour les développeurs de robots.

Le plus grand ensemble de données en robotique et la pyramide de valeur

Dans une première étape majeure, XDOF s'est associé au laboratoire d'intelligence artificielle de l'UC Berkeley pour publier ABC , qu'ils considèrent comme la plus vaste collection de données d'entraînement robotique de haute qualité jamais constituée. Cet ensemble de données, auparavant inaccessible au monde universitaire, constitue une ressource inestimable.

130.000
Trajectoires de manipulation
300
heures de simulation
100
heures d'évaluation

L'équipe a déjà utilisé ces données pour entraîner des robots à des tâches telles que plier des t-shirts, aplatir des boîtes et ranger des AirPods dans leur étui. La stratégie de XDOF repose sur une pyramide de données à trois niveaux :

  1. Données de téléopération à haute valeur ajoutée : Collecté à l'aide du robot spécifique qui sera déployé.
  2. Données générales de téléopération : Obtenu avec des systèmes comme GELLO pour des tâches plus larges.
  3. Données égocentriques : Capturées par des humains effectuant des tâches quotidiennes, pour lesquelles XDOF prévoit de construire ses propres capteurs portables.

L'entreprise prévoit de recruter et de former des opérateurs de centres d'appels dans le monde entier, un modèle gourmand en main-d'œuvre qui soulève une question essentielle : pourquoi les grands laboratoires ne s'en chargent-ils pas eux-mêmes ? La réponse, selon Wu, réside dans la complexité opérationnelle. « Il faut un entrepôt de plusieurs centaines de milliers de mètres carrés avec des centaines de robots. Il faut les entretenir, les calibrer et former correctement les opérateurs. » C'est une tâche qui exige une concentration, des capitaux et une envergure que la plupart des laboratoires d'IA préfèrent externaliser, créant ainsi un marché idéal pour XDOF.

Concept clé : Degrés de liberté (DDL)

Le nom XDOF joue sur le terme technique « degrés de liberté », qui décrit le nombre de mouvements indépendants qu'un robot peut effectuer. Par exemple, un bras humain possède sept degrés de liberté de l'épaule au poignet. Le robot de Figure.AI en possède 30. Le « X » dans le nom de l'entreprise symbolise son ambition : « Des degrés de liberté arbitraires, des degrés de liberté illimités », comme l'explique Wu.

Chronologie clé : La robotique à OpenAI

2021 OpenAI dissout son équipe de robotique, invoquant la difficulté d'obtenir des données à grande échelle pour entraîner des modèles généralistes.
2024 L'entreprise annonce la relance de son programme de robotique, signe d'un intérêt stratégique renouvelé pour l'IA physique, stimulé par les progrès réalisés dans les modèles d'IA.
spot_img