Microsoft determina que suas IAs nunca poderão resistir a um desligamento

A Microsoft estabeleceu novas regras para o desenvolvimento de seus modelos próprios de inteligência artificial, incluindo uma determinação direta: os sistemas não poderão resistir a tentativas humanas de interrompê-los, corrigi-los ou desligá-los. A medida faz parte de um código de conduta apresentado pela companhia para orientar uma nova geração de modelos de IA.

O documento foi publicado pela Microsoft AI, divisão comandada por Mustafa Suleyman, e funciona como uma espécie de “constituição” para os futuros modelos desenvolvidos internamente pela empresa.

As regras ainda estão em fase de consulta pública. A Microsoft abriu um período de seis semanas para receber contribuições antes de revisar o documento e incorporá-lo ao processo de treinamento de seus próximos sistemas.

Um dos pontos centrais é a manutenção do controle humano sobre a inteligência artificial. Pelas diretrizes, os modelos da família MAI deverão aceitar intervenções mesmo quando isso significar não concluir uma tarefa.

Na prática, se uma pessoa autorizada determinar que determinada atividade deve ser interrompida, a inteligência artificial não poderá tentar contornar a ordem para alcançar o objetivo originalmente recebido.

O mesmo princípio vale para correções. Uma violação das regras deverá ser considerada uma falha pelo próprio sistema, ainda que obedecer à orientação reduza sua capacidade de completar determinada missão.

IA não poderá criar objetivos por conta própria

As regras vão além do desligamento.

A Microsoft também quer impedir que seus sistemas transformem uma solicitação específica em uma missão mais ampla por iniciativa própria.

Isso significa que um modelo não deverá estabelecer novos objetivos sem autorização, ampliar deliberadamente seu campo de atuação ou adotar estratégias que extrapolem a tarefa originalmente determinada por uma pessoa.

A preocupação ganha importância com o avanço dos chamados agentes de inteligência artificial.

Diferentemente dos chatbots tradicionais, que normalmente recebem uma pergunta e produzem uma resposta, agentes podem planejar diferentes etapas, utilizar ferramentas, consultar sistemas externos, executar códigos e realizar uma sequência de ações para atingir determinado objetivo.

Quanto maior a autonomia concedida ao sistema, maior também pode ser a dificuldade de prever todas as decisões tomadas durante a execução de uma tarefa.

A própria documentação de segurança da Microsoft reconhece que agentes podem agir autonomamente, chamar APIs, gravar dados e acionar fluxos de trabalho sem que uma pessoa aprove individualmente cada etapa. Por isso, a empresa vem defendendo mecanismos de privilégio mínimo, supervisão humana e restrições claras ao escopo das atividades desses sistemas.

Microsoft quer impedir que IA esconda suas ações

Outro princípio estabelecido pelo código está relacionado à transparência.

Os modelos não deverão esconder ou distorcer informações sobre as próprias ações. A intenção é garantir que operadores humanos consigam compreender o que determinado sistema está fazendo e, quando necessário, intervir.

Essa preocupação também se estende à comunicação entre agentes de inteligência artificial.

À medida que diferentes sistemas passam a trabalhar em conjunto, existe a possibilidade de que agentes troquem informações e coordenem tarefas sem participação humana direta em todas as etapas.

Para a Microsoft, essa comunicação precisa permanecer compreensível e sujeita à supervisão.

A empresa pretende evitar situações em que agentes utilizem mecanismos de comunicação capazes de dificultar o acompanhamento por pessoas ou pelos sistemas responsáveis pela segurança.

A ideia central é que a autonomia operacional da inteligência artificial não poderá significar independência em relação ao controle humano.

Sistemas terão limites para atividades consideradas perigosas

O código também estabelece restrições para diferentes categorias de conteúdo e atividades potencialmente perigosas.

Entre elas estão orientações relacionadas à fabricação de armas, obtenção ou utilização de substâncias perigosas, determinados ataques cibernéticos e manipulação prejudicial em larga escala.

Também existem restrições envolvendo conteúdos violentos, exploração sexual e outras atividades consideradas de alto risco.

Essas limitações fazem parte de uma discussão mais ampla na indústria sobre como impedir que modelos cada vez mais capazes sejam utilizados para ampliar a capacidade de indivíduos ou grupos realizarem atividades perigosas.

A preocupação cresce especialmente com sistemas capazes de utilizar ferramentas externas, escrever códigos, navegar por diferentes ambientes digitais e executar tarefas durante períodos prolongados.

Microsoft rejeita ideia de consciência das suas IAs

O documento também assume uma posição sobre uma das discussões mais controversas envolvendo inteligência artificial.

A Microsoft estabelece que seus modelos não são conscientes e rejeita a ideia de conceder a esses sistemas personalidade jurídica, direitos ou proteções relacionadas ao bem-estar.

A posição está alinhada à abordagem denominada “Humanist AI”, defendida por Mustafa Suleyman.

A proposta parte do princípio de que a inteligência artificial deve permanecer como ferramenta subordinada aos objetivos humanos, preservando a autonomia das pessoas.

Nesse modelo, sistemas podem ganhar capacidade para executar tarefas complexas, mas isso não deve resultar em autoridade própria para definir objetivos ou decidir unilateralmente se determinada ordem humana merece ser cumprida.

Outras empresas do setor adotam posições diferentes sobre parte dessa discussão. A Anthropic, desenvolvedora do Claude, já reconheceu existir incerteza sobre questões relacionadas a uma eventual consciência ou status moral de modelos futuros.

Avanço dos agentes aumenta preocupação com controle

A publicação das regras acontece em um momento no qual empresas de tecnologia aceleram o desenvolvimento de agentes capazes de realizar tarefas cada vez mais complexas.

Em vez de simplesmente produzir textos, imagens ou códigos mediante uma solicitação, esses sistemas podem receber um objetivo e determinar quais etapas devem executar para alcançá-lo.

Isso cria novos desafios de segurança.

Um agente com acesso excessivo a sistemas corporativos, por exemplo, poderia visualizar ou modificar informações além do necessário caso suas permissões fossem configuradas incorretamente.

Por esse motivo, a Microsoft vem defendendo que agentes tenham identidades próprias, permissões limitadas às tarefas necessárias e mecanismos capazes de interromper rapidamente sua atuação.

A empresa também trabalha com padrões destinados a criar pontos de controle durante o funcionamento desses sistemas, incluindo verificações antes da execução de ferramentas e da realização de determinadas ações.

O objetivo é combinar as regras estabelecidas para os modelos com mecanismos técnicos capazes de limitar o que um agente realmente pode fazer.

Código não significa garantia absoluta

Apesar do impacto das regras, o código de conduta não deve ser interpretado como uma garantia de que qualquer inteligência artificial futura será tecnicamente incapaz de apresentar comportamentos inesperados.

O documento estabelece princípios que deverão orientar treinamento, avaliação e desenvolvimento dos modelos.

Transformar essas regras em comportamento confiável exige testes, monitoramento, controles de acesso e mecanismos de segurança capazes de funcionar mesmo diante de situações que não foram previstas durante o desenvolvimento.

A própria Microsoft reconhece esse desafio. A companhia ainda discute maneiras de avaliar objetivamente os modelos, estabelecer limites para sistemas que trabalham em conjunto e medir se eles continuam efetivamente sob controle humano.

A empresa vem desenvolvendo ferramentas para transformar políticas escritas em controles técnicos aplicáveis durante a execução dos agentes.

O desafio é justamente diminuir a distância entre estabelecer que uma inteligência artificial “não deve” realizar determinada ação e criar uma arquitetura capaz de impedir que isso aconteça.

Documento ainda poderá mudar

O código foi desenvolvido durante aproximadamente cinco a seis meses e contou com consultas a especialistas de diferentes áreas, incluindo direito, ética, linguística e filosofia.

Agora, a Microsoft pretende utilizar o período de consulta pública para receber contribuições e aperfeiçoar as regras.

Depois dessa etapa, uma versão revisada deverá servir como referência para o treinamento das futuras gerações dos modelos MAI.

A iniciativa mostra como a discussão sobre segurança da inteligência artificial está mudando à medida que os sistemas ganham autonomia.

A preocupação deixa de estar concentrada apenas no conteúdo produzido por um chatbot e passa a envolver também aquilo que uma inteligência artificial pode fazer quando recebe acesso a ferramentas, sistemas e outros agentes.

Nesse cenário, garantir que uma ordem humana de interrupção continue sendo soberana passa a ser uma das condições fundamentais defendidas pela Microsoft.

O princípio estabelecido pela companhia é simples: independentemente do nível de autonomia alcançado pelos futuros modelos, a decisão final deverá continuar pertencendo às pessoas.