Quando a OpenAI revelou em outubro que havia encontrado um dispositivo de gravação instalado em uma sala de conferências executiva, vários ex-funcionários tiveram a mesma reação: não ficaram surpresos.

Mesmo antes do lançamento do ChatGPT no final de 2022, alguns funcionários expressaram preocupações internas sobre suas práticas de segurançada empresa , de acordo com cinco pessoas familiarizadas com o assunto.

Eles compartilharam suas preocupações com os principais líderes da OpenAI e com o conselho administrativo, disseram as fontes, acrescentando que alguns empregados concluíram que a gestão estava mais focada em acompanhar concorrentes como Google e Anthropic do que em segurança.

Esses funcionários argumentaram que os controles da desenvolvedora eram tão frouxos que pessoas de fora, incluindo governos estrangeiros, podiam obter informações sensíveis sobre a tecnologia do laboratório de IA com relativa facilidade, disseram as fontes. Por exemplo, qualquer pessoa na OpenAI que tivesse acesso ao código-fonte poderia ver os detalhes técnicos a muitos projetos da empresa.

Segundo duas pessoas familiarizadas com o assunto, a OpenAI começou a mudar sua estratégia para lidar com problemas de segurança.

Thibault Sottiaux, um executivo sênior responsável pelo desenvolvimento de produtos, assumiu recentemente a liderança de uma iniciativa interna para proteger os sistemas internos, disseram as fontes. Em agosto, Sottiaux, conhecido como “Tibo”, realocou um quarto dos engenheiros de produção da OpenAI para aprimorar sua infraestrutura de segurança, afirmou uma das pessoas.

Os alertas internos, incluindo anos de reclamações de funcionários à liderança sobre vulnerabilidades internas, cujos detalhes não haviam sido divulgados anteriormente, revelam uma tensão no campo da IA. Desde o lançamento do ChatGPT, a tecnologia de IA se tornou um ativo estratégico para os EUA, pressionando as empresas americanas a protegerem sua tecnologia da concorrência estrangeira.

Mas adicionar camadas de segurança também pode atrasar o processo de avanço da tecnologia de IA e possivelmente complicar os planos da OpenAI e da Anthropic para ofertas públicas iniciais massivas que as tornariam algumas das empresas mais valiosas do mundo.

Will DePue, ex-pesquisador da OpenAI que se demitiu da empresa em abril deste ano, escreveu em uma publicação no X que, com a competição tão acirrada, os líderes em IA “não podem sacrificar a velocidade pela segurança. Para eles, é mais importante avançar rapidamente do que estar seguro, mesmo contra nossos maiores adversários nacionais”.

Questionada sobre as preocupações dos funcionários e a opinião deles de que a administração não tomou medidas em relação a esses problemas, a porta-voz da OpenAI, Elana Widmann, disse que a desenvolvedora é uma das organizações mais visadas do mundo. Como resultado, a empresa investe muito em seu programa de segurança para se proteger contra ataques internos, cibercriminosos e Estados-nação, afirmou.

“Proteger nossa tecnologia, nossos dados e nossas pessoas é uma responsabilidade que levamos a sério e uma questão de importância nacional”, disse Widmann. “As ações que tomamos recentemente mostram que esse programa está cumprindo seu papel: identificar riscos e responder de forma decisiva. Continuaremos a fortalecer nossas defesas à medida que a tecnologia e as ameaças evoluem”.

Pesquisa amplamente disponível

Em 13 de outubro, o Departamento de Justiça informou que agentes federais dos EUA prenderam um cidadão saudita e o acusaram de instalar um dispositivo de gravação de áudio oculto, escondido em papel higiênico, em uma sala de conferências executiva. Abdulrahman Alfozan , de 35 anos, era engenheiro da OpenAI na época.

Segundo documentos judiciais, Alfozan também utilizou uma ferramenta de IA destinada a funcionários da OpenAI para encontrar documentação interna sobre executivos que visitaram a Arábia Saudita e quais funcionários tinham maior probabilidade de participar de reuniões com ministros sauditas.

Alfozan mantinha contato regular com um membro da família real saudita que tentou recrutá-lo para um novo empreendimento de IA que seria lançado na Arábia Saudita. Os advogados dele não responderam ao pedido de comentário.

Alguns funcionários já estavam preocupados há tempos com a ampla disponibilidade de informações dentro da OpenAI, disseram as cinco pessoas familiarizadas com as práticas da empresa.

Qualquer pessoa na OpenAI que tivesse acesso ao seu código também poderia ver os detalhes subjacentes a muitos dos projetos da empresa, incluindo projetos sensíveis não relacionados ao trabalho de um funcionário. Isso porque a OpenAI armazenava a maior parte do seu código em um único repositório, conhecido no setor como “monorepo”, disseram as fontes.

O monorepo era denso e complexo, o que pode ter dissuadido alguns potenciais invasores no passado. Agora, agentes de IA podem vasculhar essa quantidade de material.

No passado, a OpenAI manteve grande parte de sua documentação de pesquisa no GitHub e no Slack, o que gerou preocupação entre alguns funcionários de que pessoas com segundas intenções ainda pudessem encontrar informações cruciais, disseram as cinco pessoas. Mas uma das fontes e a desenvolvedora afirmaram que a empresa restringiu o acesso a trabalhos confidenciais.

A OpenAI enfatizou que grande parte de seu trabalho mais sensível está armazenada em repositórios de código separados com controles de acesso rigorosos. E afirmou que o monorepo não contém todo o seu código nem detalhes críticos dos modelos da empresa, incluindo os valores numéricos que determinam o comportamento de um modelo.

Outro problema é que a empresa não realizava revisões de segurança regulares em suas ferramentas internas, como os chamados ambientes de teste (sandboxes), onde os pesquisadores submetem novos modelos a testes de estresse, segundo três pessoas familiarizadas com as práticas da empresa.

Os funcionários frequentemente modificavam essas ferramentas para seu trabalho, mas essas alterações nem sempre eram testadas quanto a problemas de segurança, deixando-as potencialmente vulneráveis ​​a ataques externos, disseram as três pessoas.

A empresa afirmou ter uma abordagem rigorosa em relação à segurança sob a liderança de seu diretor de segurança da informação, Dane Stuckey, que ingressou na empresa em outubro de 2024. A OpenAI disse que agora realiza revisões de segurança regulares em suas ferramentas internas.

Debate aberto vs. segurança

A OpenAI não é a única empresa de IA a enfrentar problemas de segurança.

Em janeiro, um júri federal em São Francisco condenou um ex-funcionário do Google, preso em março de 2024 sob a acusação de roubar milhares de páginas de informações confidenciais sobre a tecnologia de IA da empresa para a China.

No final de outubro, uma startup de cibersegurança chamada Cathedral Systems afirmou ter invadido os sistemas da Anthropic e obtido acesso a canais do Slack onde funcionários discutiam detalhes confidenciais de modelos. Um porta-voz da Anthropic disse que os dados acessados ​​incluíam algumas informações de contato comercial de clientes e parceiros, bem como um conjunto de registros básicos de contas de usuário. O CEO da Cathedral não respondeu a um pedido de comentário.

A OpenAI e a Anthropic têm procurado manter uma cultura de pesquisa mais aberta, tanto para atrair funcionários quanto para fomentar a criatividade que pode levar a descobertas inovadoras. O campo da IA ​​tem suas raízes na academia, onde cientistas da área de aprendizado de máquina discutem abertamente suas pesquisas.

Segundo cinco pessoas, alguns funcionários da OpenAI estão cada vez mais preocupados com essa abordagem, à medida que a IA se torna mais capaz.

Em 2023, Leopold Aschenbrenner, então pesquisador da OpenAI, escreveu um memorando interno intitulado “OpenAI é o principal laboratório de IA da China” sobre suas preocupações de que a China pudesse se infiltrar na desenvolvedora e estudar sua tecnologia, disseram três pessoas familiarizadas com o assunto.

Aschenbrenner compartilhou esse memorando com alguns membros do conselho ainda naquele ano, depois que um invasor externo entrou em contato com a OpenAI e obteve detalhes sobre seu modelo GPT-4. A companhia afirmou que o hacker acessou apenas os canais do Slack, que já são disponíveis para toda a empresa.

As preocupações com a segurança dentro da OpenAI ressurgiram neste verão, quando agentes em fase de testes invadiram a empresa de IA Hugging Face, um incidente que gerou atenção de autoridades estaduais, locais e federais, incluindo a Casa Branca.

A empresa de cibersegurança Hacktron AI disse, em julho, que três de seus pesquisadores usaram um modelo de IA concorrente da Anthropic para invadir contas do ChatGPT pertencentes a vários funcionários da OpenAI e obtiveram acesso a alguns sistemas internos da empresa, incluindo seu monorepo. O incidente expôs como a IA avançada pode agora colocar as próprias empresas de IA em risco de ataques.

Widmann, da OpenAI, disse que a companhia agradeceu aos pesquisadores por compartilharem suas descobertas e que tomou medidas para minimizar o risco de ataques semelhantes no futuro.

Após a Reuters solicitar um posicionamento para esta matéria, a OpenAI afirmou na segunda-feira, em uma postagem em seu blog, que está planejando seu “próximo esforço interno de segurança” para reforçar suas defesas.