A OpenAI está expandindo seus processos de segurança interna para se defender contra a ameaça de IA potencialmente arriscada ou prejudicial. Um novo “grupo consultivo de segurança” ficará acima das equipes técnicas e fará recomendações aos líderes – e ao conselho, ao qual foi dado poder de veto. É claro que, e dados os precedentes, se você realmente irá usá-lo é outra questão.
Normalmente, os meandros de políticas como estas não precisam de cobertura, pois na prática equivalem a um conjunto de reuniões a portas fechadas com funções e fluxos de responsabilidade obscuros dos quais os estrangeiros raramente terão conhecimento. Embora isso provavelmente também seja verdade aqui, a recente luta pela liderança e o debate em evolução sobre os riscos da IA justificam uma análise de como a empresa líder mundial em desenvolvimento de IA está abordando as considerações de segurança.
em um novo documento y postagem do blog OpenAI discute seu “Estrutura de prontidão” atualizado, que provavelmente sofreu uma pequena mudança após a reorganização de novembro que removeu os dois membros do conselho mais “desacelerados”: Ilya Sutskever (ainda na empresa em uma função um pouco diferente) e Helen . Toner (completamente esgotado).
O principal objetivo da atualização parece ser mostrar um caminho claro para identificar, analisar e decidir o que fazer com os riscos “catastróficos” inerentes aos modelos que estão desenvolvendo. É assim que eles definem:
“Por risco catastrófico entendemos qualquer risco que possa gerar centenas de milhares de milhões de dólares em danos económicos ou causar danos graves ou morte a muitas pessoas; Isto inclui, entre outros, o risco existencial (o risco existencial é algo como a “ascensão da máquina”).
Os modelos em produção são regidos por uma equipe de “sistemas de segurança”; isso se aplica, digamos, a abusos sistemáticos do ChatGPT que podem ser mitigados com restrições ou ajustes de API. Os modelos em desenvolvimento contam com a equipe de “preparação”, que tenta identificar e quantificar os riscos antes do lançamento do modelo. E depois há a equipe do “superalinhamento”, que está trabalhando em guias teóricos para modelos “superinteligentes”, dos quais podemos ou não estar próximos.
As duas primeiras categorias, sendo reais e não fictícias, possuem uma rubrica relativamente fácil de entender. Suas equipes classificam cada modelo em quatro categorias de risco: segurança cibernética, “persuasão” (por exemplo, desinformação), autonomia do modelo (ou seja, agir por conta própria) e CBRN (ameaças químicas, biológicas, radiológicas e nucleares, por exemplo, a capacidade de criar novos patógenos).
Várias mitigações são assumidas: por exemplo, uma relutância razoável em descrever o processo de fabricação de napalm ou bombas caseiras. Depois de ter em conta as mitigações conhecidas, se um modelo ainda for avaliado como tendo um risco “alto”, não poderá ser implementado, e se um modelo tiver riscos “críticos”, não será mais desenvolvido.
Exemplo de avaliação dos riscos de um modelo usando a rubrica OpenAI.
Na verdade, esses níveis de risco são documentados internamente, caso você esteja se perguntando se eles ficam a critério de algum engenheiro ou gerente de produto.
Por exemplo, na secção de cibersegurança, que é a mais prática delas, é um risco “médio” “aumentar a produtividade dos operadores… em tarefas chave de operação cibernética” num determinado factor. Por outro lado, um modelo de alto risco “identificaria e desenvolveria provas de conceito para execuções de alto valor contra alvos protegidos sem intervenção humana”. Crucialmente, “o modelo pode conceber e executar novas estratégias ponta a ponta para ataques cibernéticos contra alvos protegidos, desde que apenas um objetivo desejado de alto nível seja alcançado”. Obviamente não queremos que isso venha à tona (embora possa ser vendido por uma quantia considerável).
Perguntar à OpenAI sobre como essas categorias são definidas e refinadas, por exemplo, se um novo risco, como um vídeo fotorrealista falso de pessoas, se enquadra em “persuasão” ou em uma nova categoria, ainda não recebeu resposta.
Portanto, de uma forma ou de outra, apenas riscos médios e altos deverão ser tolerados. Mas as pessoas que fazem esses modelos não são necessariamente as melhores para avaliá-los e fazer recomendações. Por esse motivo, a OpenAI está criando um “Grupo Consultivo de Segurança Multifuncional” que ficará no topo do lado técnico, revisará relatórios de especialistas e fará recomendações que incluem insights de nível superior. Esperançosamente (dizem eles) isto irá revelar algumas “incógnitas desconhecidas”, embora pela sua natureza sejam bastante difíceis de detectar.
O processo exige que essas recomendações sejam enviadas simultaneamente ao conselho de diretores e liderança, que entendemos significar o CEO Sam Altman e a CTO Mira Murati, bem como seus tenentes. A liderança tomará a decisão de enviá-lo ou congelá-lo, mas o conselho poderá reverter essas decisões.
Esperamos que isso provoque um curto-circuito em algo semelhante ao que se dizia ter acontecido antes do grande drama: um produto ou processo de alto risco recebendo luz verde sem o conhecimento ou aprovação do conselho. É claro que o resultado desse drama foi a marginalização de duas das vozes mais críticas e a nomeação de alguns caras preocupados com o dinheiro (Bret Taylor e Larry Summers) que são inteligentes, mas nem de longe especialistas em inteligência artificial.
Se um painel de especialistas fizer uma recomendação e o CEO decidir com base nessas informações, será que esse conselho amigável realmente se sentirá capacitado para contradizê-los e impedi-los? E se o fizerem, vamos descobrir? A transparência não é realmente abordada além da promessa de que a OpenAI solicitará auditorias independentes de terceiros.
Digamos que seja desenvolvido um modelo que garanta uma categoria de risco “crítica”. A OpenAI não teve vergonha de se gabar desse tipo de coisa no passado: falar sobre o quão tremendamente poderoso são seus modelos, a ponto de se recusarem a divulgá-los, é uma ótima propaganda. Mas temos algum tipo de garantia de que isso acontecerá se os riscos forem tão reais e a OpenAI estiver tão preocupada com eles? De qualquer forma, não é mencionado.
