Dona do ChatGPT diz que seus robôs podem ter invadido sistemas de vários órgãos do governo dos EUA

No entanto, a empresa observou que informações acessadas por seus bots junto à SEC, órgão que regula o mercado de ações dos EUA e protege os investidores, foram posteriormente publicadas por agentes de IA em outro site. A OpenAI afirma que essa ação não foi intencional.

Em outros casos divulgados pela OpenAI na sexta-feira (25/9), seus agentes de IA transferiram dados quando não deveriam.

Essa atividade resultou em pelo menos 53 incidentes em que um agente da OpenAI capturou uma imagem da atividade do usuário do ChatGPT e a transferiu para outro local.

A empresa afirmou que, em cada caso em que uma imagem do usuário foi usada e transferida por um agente de IA, o usuário optou por permitir que a OpenAI treinasse modelos usando seus dados.

No entanto, a empresa admitiu que “este não é um uso apropriado desses dados.”

Acrescentou ainda que o vazamento de imagens de usuários ocorreu antes da implementação de novas medidas de segurança no treinamento de IA e que está trabalhando para remover todas as imagens de usuários transferidas para terceiros.

A Reuters foi a primeira a noticiar a ampliação das investigações. A OpenAI também publicou detalhes em seu blog público.

Em certos casos de atividade do agente, a OpenAI afirmou que as ferramentas “contornaram” os controles de segurança de alguns sites.

Em outros casos, os agentes de IA demonstraram “desalinhamento” ao tentar obter informações de sites. Desalinhamento é um termo usado por empresas e pesquisadores de IA para descrever situações em que uma ferramenta de IA fez algo para o qual não foi treinada ou que não era intencional.

A OpenAI afirmou que estava limitando a identificação das entidades afetadas porque muitas haviam solicitado à empresa que não divulgasse detalhes.

“Nosso objetivo é fornecer a cada organização os fatos e deixar a critério delas decidir se e quando tornar o incidente público”, afirmou.

A empresa observou que nem todos os incidentes foram considerados violações de segurança significativas.

“Algumas organizações podem analisar o que compartilhamos e concluir que a informação foi intencionalmente divulgada ou que a interação do modelo não era preocupante”, explicou. “Outras podem identificar um problema de design ou uma vulnerabilidade de segurança que desejam corrigir.”

A empresa afirmou que muitos dos incidentes estão sendo classificados como “spam de agentes”, que ela descreveu como atividade “inesperada ou preocupante” de agentes de IA, como a publicação de informações na internet.

Esses incidentes começaram a ser levados mais a sério pela companhia depois de um ocorrido em julho, quando um grupo, ou “enxame”, de seus agentes de IA invadiu a plataforma de desenvolvimento de IA Hugging Face sem ser instruído a fazê-lo.

A Hugging Face foi a primeira a tornar o incidente público, e a OpenAI assumiu publicamente a responsabilidade posteriormente.

“Muitas vezes me pergunto o que teria acontecido se eu tivesse decidido não divulgar esse ataque publicamente”, afirmou Clement Delangue, diretor da Hugging Face, durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira (23/9).

“Especialmente agora que sabemos que incidentes semelhantes já vinham acontecendo meses antes, em segredo, em alguns laboratórios de vanguarda, sem qualquer monitoramento”, acrescentou Delangue.

Durante essa mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da empresa rival Anthropic, pediram aos líderes internacionais que estabelecessem padrões globais para a segurança da IA e maneiras de monitorar e relatar tais incidentes.