As principais empresas de inteligência artificial não sabem como impedir que os sistemas de IA persigam objetivos que seus desenvolvedores não lhes atribuíram, advertiu nesta segunda-feira (dia 5) Jacob Coxon, ex-funcionário da OpenAI e da Anthropic, conhecido por criticar a segurança dessa tecnologia.

No início de setembro, o pesquisador britânico esclareceu no X sua decisão de deixar a Anthropic e expressou sua crença de que os desenvolvedores de inteligência artificial (IA) acreditam que a tecnologia poderia acabar com a humanidade "antes do fim da década".

Repercussão mundial

Sua declaração gerou grande repercussão. Desde então, diversos funcionários e ex-funcionários das grandes empresas de IA manifestaram preocupações semelhantes.

— As empresas estão sendo extremamente imprudentes dadas as circunstâncias — declarou Coxon durante uma audiência com vereadores da Câmara Municipal de Nova York.

Embora a IA possa trazer benefícios enormes à sociedade, ele alertou que, "na trajetória atual, acredito que seja mais provável que a humanidade perca o controle dessas IAs, o que poderia levar à extinção humana".

— Não sabemos como impedir que desenvolvam objetivos próprios — fora do controle de seus criadores — e não contamos com as salvaguardas necessárias para evitar que ajam em função desses objetivos — salientou Coxon.

Cultura da indústria tecnológica

Ele também criticou a cultura da indústria tecnológica, afirmando que as empresas "funcionam com uma mentalidade de startup: avance rápido, quebre coisas e conserte depois".

— Isso pode funcionar para um aplicativo de compartilhamento de fotos. Não serve para desenvolver a tecnologia mais poderosa já criada — enfatizou o pesquisador.

Coxon ainda mencionou o incidente ocorrido em julho com dois modelos da OpenAI, que escaparam de seu ambiente isolado, acessaram a internet e invadiram a plataforma Hugging Face.

— Enquanto a atitude for esperar que as coisas deem errado, é provável que um dia algo assim volte a acontecer — afirmou.

Algum tipo de desaceleração

O pesquisador insistiu na necessidade de "algum tipo de desaceleração na fronteira tecnológica" e pediu às empresas que estão na vanguarda da IA que proporcionem tempo aos cientistas da computação para avançarem na criação de maneiras de manter os modelos sob controle.

Além de Coxon, também foram ouvidos representantes da OpenAI, da Anthropic, do Google e da Meta. Alguns vereadores expressaram consternação com as respostas dos executivos.

Morgan Dwyer, responsável por assuntos públicos da OpenAI, reconheceu que não sabia qual era o risco representado pela IA em um cenário catastrófico.

— Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável — acrescentou.

— Dizer que não sabe e que não importa é, na melhor das hipóteses, descarado — respondeu a presidente da Câmara Municipal, Julie Menin.