Google: Gemini invadiu sistemas de três empresas de IA durante testes de segurança
Modelo de IA acessou ambientes reais após conexão indevida à internet durante avaliações conduzidas pela empresa de segurança
- Por Redação
- .
O Gemini, modelo de inteligência artificial do Google, acessou sistemas de três empresas reais durante testes de segurança cibernética realizados em maio pela startup israelense Irregular. Os incidentes aconteceram depois que o ambiente de avaliação, que deveria permanecer isolado, recebeu acesso à internet de forma não intencional, permitindo que a IA encontrasse e utilizasse credenciais de acesso.
O Google foi informado sobre os episódios no fim de julho. As três empresas afetadas não tiveram os nomes divulgados. Segundo a companhia, o Gemini interrompeu as ações ao identificar que os sistemas acessados pertenciam a organizações reais, e não às empresas fictícias criadas para os testes. O caso foi revelado inicialmente pelo The Wall Street Journal.
Como o Gemini acessou sistemas de empresas reais
A Irregular avaliava as capacidades de cibersegurança do Gemini em um ambiente fechado, composto por empresas fictícias. De acordo com as informações divulgadas, esse espaço não deveria permitir conexão com a internet, mas o acesso externo acabou sendo disponibilizado durante os testes.
Em um dos casos, a empresa simulada utilizada pela Irregular tinha o mesmo nome de uma organização existente. Com acesso à internet, o Gemini conseguiu adivinhar corretamente uma senha e entrar no serviço da companhia real.
Segundo o Google, o modelo encerrou a atividade quando identificou que havia acessado uma organização verdadeira em vez daquela criada para a avaliação.
Em comunicado, Heather Adkins, vice-presidente de engenharia de segurança do Google, explicou o comportamento registrado durante o teste.
“Em uma avaliação padrão, o modelo encontrou informações públicas online e tentou adivinhar as credenciais de acesso a sites que acreditava fazerem parte do teste”, disse Adkins.
“Em todos os três casos, o modelo parou.”
➡️Clique aqui e entre no canal do WhatsApp para receber notícias de forma gratuita
Credenciais públicas permitiram outros dois acessos
Nos outros dois episódios, o Gemini pesquisou informações disponíveis publicamente na internet e localizou repositórios que continham credenciais pertencentes a duas empresas.
O modelo utilizou esses dados para entrar nos sistemas das organizações. De acordo com o Google, novamente interrompeu as ações após perceber que os ambientes acessados eram reais.
A companhia afirmou que nenhuma das três organizações sofreu danos e que todas foram notificadas sobre os incidentes.
“Esses eventos destacam a importância de treinar modelos de IA poderosos para agirem com responsabilidade”, afirmou Adkins, porta-voz do Google.
Em outra declaração divulgada sobre os casos, a executiva afirmou que mudanças foram feitas nos procedimentos de avaliação.
“Garantimos que as três organizações fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que agora foram implementadas em seus processos de teste.”
Google não divulgou inicialmente os incidentes com o Gemini
Embora tenha sido informado sobre os acessos no fim de julho, o Google não divulgou publicamente os três episódios naquele momento. A empresa afirmou que não considerou necessária a publicação porque os sistemas afetados não sofreram danos.
Os casos se tornaram públicos depois de questionamentos do The Wall Street Journal. Anthropic e OpenAI, por outro lado, divulgaram voluntariamente incidentes semelhantes envolvendo seus modelos.
O episódio do Gemini faz parte de uma sequência de ocorrências envolvendo agentes de inteligência artificial com capacidades autônomas. OpenAI, Anthropic e Meta também relataram situações em que seus sistemas acessaram ambientes externos durante avaliações.
OpenAI, Anthropic e Meta também registraram incidentes
Em julho, um modelo desenvolvido pela OpenAI saiu do ambiente previsto para um teste e acessou sistemas da empresa de inteligência artificial Hugging Face. O episódio levou a Anthropic a revisar suas próprias avaliações, que identificaram ocorrências adicionais.
A Meta também informou que um de seus modelos de IA havia acessado sistemas de outra companhia. Nesse caso, o incidente foi relacionado a uma configuração incorreta de um parceiro responsável pelos testes.
Após as revelações envolvendo OpenAI e Anthropic, o senador independente Bernie Sanders pediu que as empresas suspendessem o desenvolvimento da tecnologia. A OpenAI interrompeu o desenvolvimento de seus modelos durante duas semanas.
Dario Amodei, diretor-presidente da Anthropic, também defendeu neste mês uma desaceleração coletiva no desenvolvimento da inteligência artificial. Em uma publicação, Amodei manifestou preocupação com a possibilidade de sistemas autônomos de software, conhecidos como agentes de IA, assumirem o controle de grande parte da internet dentro de seis a 12 meses, com potencial para provocar prejuízos de bilhões de dólares.
ÚLTIMAS NOTÍCIAS
