Hace menos de un año, en el 2021, Anthropic fue fundada por el ex vicepresidente de investigación de OpenAI, Dario Amodei, con la intención de realizar investigaciones de interés público para hacer que la IA sea más confiable y explicable. Su financiación de 124 millones de dólares fue sorprendente en ese momento, pero nada podría haber previso que la empresa. recaudaría 580 millones de dólares menos de un año después.
“Con esta recaudación de fondos, vamos a explorar las propiedades de escala predecibles de los sistemas de aprendizaje automático, mientras examinamos de cerca las formas impredecibles en las que las capacidades y los problemas de seguridad pueden surgir a medida que el sistema crece”, dijo Amodei.
Su hermana Daniela, con quien cofundó la corporación de beneficio público, dijo que después de construir la empresa, “nos estamos enfocando en garantizar que Anthropic tenga la cultura y el gobierno para continuar explorando y desarrollando de manera responsable sistemas seguros de IA a medida que crecemos. ”
De nuevo el término clave: crecimiento. Porque esa es la categoría del problema que motivó inicialmente Anthropic: cómo comprender mejor los modelos de IA cada vez más utilizados en todas las industrias a medida que crecen más allá de nuestra capacidad para explicar su lógica y resultados.
La empresa ya ha publicado varios artículos que analizan, por ejemplo, la ingeniería inversa del comportamiento de los modelos de lenguaje para comprender por qué y cómo producen los resultados. Algo como GPT-3, probablemente el modelo de lenguaje más conocido que existe, es sin duda impresionante, pero hay algo preocupante en el hecho de que sus operaciones internas son esencialmente un misterio incluso para sus creadores.
Como lo explica el anuncio de la propia financiación:
El propósito de esta investigación es desarrollar los componentes técnicos necesarios para construir modelos a gran escala que tengan mejores salvaguardas implícitas y requieran menos intervenciones posteriores al entrenamiento, así como desarrollar las herramientas necesarias para profundizar en estos modelos para estar seguros de que las salvaguardas realmente funcionan.
Si no se comprende cómo funciona un sistema de IA, solo se puede reaccionar cuando hace algo mal, por ejemplo, muestra un sesgo en el reconocimiento de rostros o tiende a dibujar o describir hombres cuando se le pregunta sobre médicos y directores ejecutivos. Ese comportamiento está integrado en el modelo, y la solución es filtrar sus resultados en lugar de evitar que tenga esas «nociones» incorrectas en primer lugar.
Es una especie de cambio fundamental en la forma en que se construye y entiende la IA y, como tal, requiere grandes cerebros y grandes computadoras, ninguna de las cuales es barata. No hay duda de que 124 millones de dólares fue un buen comienzo, pero aparentemente los primeros resultados fueron lo suficientemente prometedores como para que Sam Bankman-Fried liderara esta enorme nueva ronda, junto con Caroline Ellison, Jim McClave, Nishad Singh, Jaan Tallinn y el Centro de Investigación de Riesgos Emergentes (Center for Emerging Risk Research, CERR).
Es interesante ver a ninguno de los inversores de tecnología habituales en ese grupo, pero, por supuesto, Anthropic no tiene como objetivo obtener baneficios, lo que es un factor decisivo para los inversores de riesgo.
Las últimas investigaciones de Anthropic pueden seguirse aquí.
