A atual explosão massiva de modelos generativos de IA para texto e imagem é inevitável. À medida que esses modelos se tornam cada vez mais capazes, "modelo básico" é um termo relativamente novo que está sendo usado. Então, o que é um modelo básico?
O termo ainda é um tanto vago. Alguns o definem pelo número de parâmetros e, portanto, pelo tamanho de uma rede neural, e outros pelo número de tarefas únicas e difíceis que o modelo pode executar. É realmente tão empolgante criar modelos de IA cada vez maiores e a capacidade do modelo de lidar com várias tarefas? Tirando todo o exagero e linguagem de marketing, o que é realmente desafiador sobre essas novas gerações de modelos de IA é que eles mudam fundamentalmente a maneira como interagimos com computadores e dados. Você pode pensar em empresas como Cohere, Covariant, Hebbia e You.com.
Agora entramos em uma fase crítica da IA na qual quem consegue construir e servir esses modelos poderosos tornou-se um grande ponto de discórdia, especialmente quando questões éticas começam a surgir, como quem tem direito a quais dados, se os modelos violam suposições razoáveis de privacidade, se o consentimento para o uso de dados é um fator, o que constitui "comportamento inadequado" e muitos pontos cinzas adicionais que precisam de luz. Com questões como essas na mesa, é razoável supor que aqueles que controlam os modelos de IA serão talvez os tomadores de decisão mais importantes de nosso tempo.
Existe um jogo para os modelos básicos de código aberto?
Devido às questões éticas associadas à IA, a atenção aos modelos básicos de código aberto está ganhando força. Mas construir modelos básicos não é barato. Eles exigem dezenas de milhares de GPUs (unidades de processamento gráfico) de última geração e muitos engenheiros e cientistas de aprendizado de máquina. O domínio da construção de modelos básicos até o momento só foi acessível a gigantes da nuvem e startups extremamente bem financiadas que se encontram com potencial de centenas de milhões de dólares em potencial de retorno.
Quase todos os modelos e serviços criados por essas poucas empresas são de código fechado. Ainda assim, o código fechado confia muito poder e decisões a um número limitado de empresas que definirão nosso futuro, o que pode ser bastante perturbador.
Entramos em uma fase crítica da IA, na qual quem constrói e atende a esses modelos poderosos tornou-se um grande ponto de discórdia.
O maior obstáculo para os modelos básicos de código aberto segue sendo Dinheiro. Para que os sistemas de IA de código aberto sejam lucrativos e sustentáveis, eles ainda exigem dezenas de milhões de dólares para funcionar e serem gerenciados adequadamente. Embora seja uma fração do que as grandes empresas estão investindo em seus esforços, ainda é bastante significativo para uma startup.
Podemos ver como a tentativa da Stability AI de abrir o Neo-GPT e transformá-lo em um negócio real falhou, pois foi superada por empresas como Open AI e Cohere. A empresa agora tem que lidar com um processo da Getty Images, que ameaça desviar a empresa de seus objetivos e sobrecarregar ainda mais os recursos, tanto financeiros quanto humanos. A oposição da Meta aos sistemas de código fechado por meio do LLaMA alimentou o movimento de código aberto, mas ainda é muito cedo para dizer se eles continuarão a honrar seu compromisso.
A boa notícia é que os modelos estão ficando menores com técnicas muito recentes, como Low-Rank Adaptation (LoRa) e Chain-of-Thought Prompting (CoT). Mas eles ainda exigem muitas iterações para torná-los comercialmente viáveis, o que naturalmente envolve milhões de dólares e muito poder de computação.
No momento, a maioria das empresas de IA geradora de código aberto falha, e não temos dados sobre o quão “grandes” e bem-sucedidos os projetos de IA de código aberto podem se tornar. Isso torna difícil para os capitalistas de risco assinar o tipo de cheque de que esses projetos precisam, principalmente em um momento em que o sistema bancário é tão frágil. Embora isso possa melhorar no futuro, atualmente se traduz em investimentos estratégicos, que voltam para as grandes empresas de tecnologia.
Independentemente de onde os fundos potencialmente venham, devemos encarar a realidade de que, depois que o hype passar e as mensagens de marketing desaparecerem, os desafios permanecem nas frentes de sustentabilidade, risco-recompensa e lucratividade, além de manter a qualidade e a precisão para garantir valor . . Em suma, as empresas de IA de código aberto precisam descobrir como se tornar negócios reais, o que há muito é o maior impedimento.
Implicações para startups
Como vimos com a proliferação massiva do ChatGPT, os modelos básicos são o futuro, mas ainda não se sabe como eles o influenciarão. Uma nova geração de startups está surgindo para fazer todo tipo de coisas incríveis, sejam elas construídas como código fechado ou código aberto. Em um esforço para decidir o melhor caminho a seguir, os fundadores podem se fazer perguntas difíceis relacionadas a todos os aspectos de seus negócios. Por exemplo:
Financiación
¿De dónde viene el dinero? ¿Tendrán los bolsillos lo suficientemente profundos como para hacerlo solo como una empresa de código cerrado? Si no, ¿qué tipo de pareja se buscará? ¿Se puede mantener el control del proyecto? Si se opta por la ruta del código abierto, ¿cómo se financiará?Equipo
¿El proyecto se presta al aporte y desarrollo de la comunidad, o requiere estrictos controles de calidad? ¿Cómo se podrá atraer al mejor talento para desarrollar el proyecto?Experimentación
¿Cómo podrán las personas experimentar el proyecto para aprender sobre él y probarlo? ¿Se abrirá pruebas y a un marketing extensivo? ¿Estará abierto un entorno de pruebas (sandbox) para los desarrolladores? ¿Se generar entusiasmo a través de redes comunitarias de código abierto?Fidelización
¿Cómo se crea la propia comunidad de usuarios? ¿Qué sucede si se cambia de enfoque, es decir, cuánto se puede perderen reputación y en términos de usuarios si comienza como un proyecto de código abierto y luego se debe ir en la dirección opuesta si un socio con recursos lo exige?Ética y educación
¿Cuáles son sus responsabilidades cuando se trata de cómo se utiliza el proyecto? ¿Qué hacer si se coopta para fines no deseados y dañinos? ¿Hay intervención si aprecia un "comportamiento inapropiado" y, de ser así, en qué medida? ¿Cómo se monitorea el proyecto y transmitirá las políticas a los clientes/usuarios? En resumen, ¿dónde están los límites de seguridad?Isso é só um começo. Há muito mais perguntas do que respostas neste momento.
Determinando o sucesso futuro
À medida que as startups avançam na construção de modelos básicos para um nicho específico, é importante que reconheçam que novos marcos serão necessários para avaliar sua relevância e valor final. Como Ryan Shannon, da Radical Ventures, observou recentemente:
Ao contrário de uma startup tradicional, que pode simplesmente escrever código, enviar um produto e repetir o feedback do cliente, as empresas do Foundation Model precisam gastar mais tempo construindo e treinando seus modelos para colocar um produto em uma posição em que seja viável e pronto para uso. Muitas vezes, isso pode levar vários anos, milhões de dólares (ou... centenas de milhões de dólares) e várias iterações antes que os produtos sejam bons o suficiente para as empresas cobrarem dos clientes pelo uso deles.
Esta é uma tarefa difícil e pode exigir um salto de fé de investidores ou membros de uma comunidade maior. O investimento inicial em modelos de base é substancialmente maior do que o necessário para outras startups, mas a adoção de back-end pode ser sem precedentes. São tecnologias de transformação diferentes de tudo o que já foi visto.
Com a quantidade certa de tempo, dinheiro e talento, os modelos fundamentais, abertos ou fechados, não apenas inaugurarão o futuro, como também o controlarão até certo ponto. Os modelos básicos orientarão a forma como consumimos a informação que molda as nossas perspetivas e decisões, o que terá um impacto profundo na forma como a sociedade comunica, aprende, compreende e cria.
As apostas são incrivelmente altas. Os modelos de código aberto precisam encontrar um modelo de negócios que funcione a longo prazo, enquanto os modelos fechados precisam abordar questões éticas inicialmente, com controles comportamentais e supervisão em vigor. Nenhuma solução perfeita surgiu neste cenário confuso e em rápida mudança, mas enfrentar as grandes questões e examinar nossas responsabilidades é essencial para a inovação. Quando consideramos tudo o que é possível, tanto para o bem quanto para o mal, as salvaguardas são descobertas e o progresso real ocorre.
