Governança de agentes de IA: o que é, como definir limites e quem responde

Governança de agentes de IA é o conjunto de decisões que define o que um agente pode fazer sozinho, com quais permissões, sob qual registro e com qual pessoa respondendo pelo resultado. Não é um documento de princípios. É a lista de limites que existe antes de o agente ser ligado.

A pergunta que a governança responde é prática e desconfortável: quando o agente mandar o e-mail errado, devolver o dinheiro que não devia ou alterar o cadastro do cliente, quem autorizou aquilo e quem vai responder. Este guia mostra o que decidir antes, por que a resposta reflexa do mercado não basta e o que propomos no lugar, a partir do que a literatura revisada por pares avalia.

O que é governança de agentes de IA

Governança de agentes de IA é o conjunto de regras que determina quatro coisas: para que o agente existe, até onde ele pode ir, o que ele pode acessar e alterar, e quem responde pelo que ele fizer. Tudo isso definido antes, e não depois do primeiro incidente.

A distinção que importa aqui é entre governar o uso de IA e governar um agente. Já tratamos do primeiro caso no guia de IA responsável, que cuida de princípios, dados e risco no uso geral. Este texto trata do segundo, que é mais estreito e mais urgente: o agente que executa.

Na nossa prática: a maioria das PMEs que nos procura já tem agente rodando. Quase nenhuma sabe dizer quantos, quem ligou cada um e o que eles podem tocar. A governança costuma aparecer depois do susto, e aí ela é escrita para justificar o que já aconteceu.

Por que um agente é diferente de um assistente

Um assistente devolve texto. Você lê, decide e age. O erro dele custa o tempo de reler. Um agente recebe um objetivo e executa passos até chegar lá, e no caminho ele abre sistema, escreve registro, envia mensagem e às vezes gasta dinheiro. O erro dele já é um fato no mundo quando você descobre.

Chan, Ezell, Kaufmann, Wei, Hammond, Bradley e colegas (2024) descrevem agentes de IA como sistemas capazes de perseguir objetivos complexos com supervisão limitada, e observam que a delegação crescente de atividades comerciais, científicas, governamentais e pessoais a eles pode agravar riscos existentes e introduzir novos.

Em um trabalho anterior, Chan, Salganik, Markelius, Pang, Rajkumar, Krasheninnikov e colegas (2023) recusam tratar agência como propriedade binária e identificam quatro características que, sobretudo em combinação, tendem a aumentar a agência de um sistema algorítmico.

Característica	O que ela quer dizer	Como ela aparece na PME
Subespecificação	O objetivo é dado sem que todos os detalhes do comportamento estejam especificados	“Resolva o chamado do cliente” sem dizer o que ele não pode prometer
Caráter direto do impacto	O sistema afeta o mundo sem uma pessoa no meio do caminho	O agente manda o e-mail em vez de sugerir o rascunho
Orientação a objetivos	O sistema age para alcançar um resultado, e não para executar uma instrução fixa	“Reduza a fila de atendimento” em vez de “responda esta mensagem”
Planejamento de longo prazo	O sistema encadeia passos ao longo do tempo	O agente que acompanha uma negociação por dias, sozinho

Na nossa prática: as quatro características descrevem quase qualquer agente que uma PME liga hoje para atendimento ou cobrança. Não é cenário de laboratório. É a configuração padrão de quem compra a ferramenta e aponta para a operação.

Por que “põe um humano para aprovar” não basta como trava

Essa é a resposta que todo mundo dá, e é a parte em que a literatura discorda do mercado.

Green (2022) examinou 41 políticas que prescrevem supervisão humana de algoritmos de governo e argumenta que elas sofrem de duas falhas. A primeira: a evidência sugere que as pessoas não conseguem desempenhar as funções de supervisão que se espera delas. A segunda decorre da primeira: as políticas de supervisão humana acabam legitimando usos de algoritmos falhos e controversos, sem tratar os problemas fundamentais dessas ferramentas. Em vez de proteger, elas dão uma falsa sensação de segurança e permitem que fornecedores e órgãos se esquivem da responsabilidade.

Três ressalvas importam antes de transportar isso para a sua empresa. O estudo é sobre algoritmos de governo, não sobre agentes comerciais em PME, e o que ele examina são políticas, não pessoas em uma operação. A proposta que ele faz também é institucional, de deslocar a supervisão humana para supervisão institucional, o que numa empresa pequena tem outra escala.

Leitura da CGLC: o mecanismo mais provável por trás do primeiro achado tem literatura própria e mais antiga. A ligação entre esse achado e a literatura de viés de automação é nossa, porque nenhum dos dois estudos a faz.

Goddard, Roudsari e Wyatt (2012) fizeram uma revisão sistemática do viés de automação, que é a tendência a confiar demais na automação. De 13.821 artigos recuperados, 74 atenderam aos critérios de inclusão.

O que a revisão relata como mediadores do viés é a parte útil para quem vai desenhar o controle: estilo cognitivo e experiência específica na tarefa, fatores atitudinais como confiança, e fatores de ambiente como carga de trabalho, complexidade da tarefa e restrição de tempo, que pressionam os recursos cognitivos.

E os mitigadores que eles relatam vêm em duas famílias. De implantação: treinamento e ênfase na responsabilização do usuário. De desenho do sistema: a posição do conselho na tela, níveis de confiança atualizados junto da saída e a entrega de informação em vez de recomendação. Nenhum desses mitigadores é boa vontade.

Ressalva ao leitor: essa revisão tem foco em saúde e em sistemas de apoio à decisão clínica. A direção é transportável, a magnitude não, e a revisão é de 2012, anterior aos agentes de que estamos falando.

Leitura da CGLC: junte as duas coisas e o retrato fica claro. Pôr um atendente sobrecarregado para clicar “aprovar” em uma sugestão atrás da outra não é uma trava, é um carimbo. E é pior que não ter trava nenhuma, porque cria a sensação de que existe controle e transfere a culpa para quem clicou.

O que vem no lugar: visibilidade antes de autonomia

Chan e colegas (2024), em trabalho conceitual de conferência, chamam de visibilidade a informação sobre onde, por que, como e por quem certos agentes de IA são usados, e avaliam três categorias de medidas para aumentá-la. Eles delineiam implementações possíveis que variam em intrusividade e em quanto informam, e não medem a eficácia de nenhuma delas.

1. 1. Identificador de agente

   Saber que aquilo é um agente, e qual. Na PME: cada agente tem nome, dono e um lugar onde está anotado o que ele faz. Se ninguém sabe listar quantos agentes existem, não há governança a discutir

2. 2. Monitoramento em tempo real

   Acompanhar o que o agente está fazendo enquanto ele faz. Na PME: alguém consegue ver a fila do agente hoje, não no relatório do mês que vem

3. 3. Registro de atividade

   Guardar o que foi feito, para poder reconstituir depois. Na PME: dá para responder “por que este cliente recebeu isso” olhando um registro, e não perguntando para quem estava de plantão

4. 4. O que a CGLC acrescenta: reversibilidade

   Antes de soltar o agente numa ação, perguntar quanto custa desfazê-la. Mandar um e-mail não se desfaz. Estornar um valor se desfaz com atrito. Alterar um cadastro se desfaz quando há registro. Este passo é nosso, e não dos autores

Leitura da CGLC: a ordem importa mais do que a lista, e a ordem é nossa, não do estudo. Visibilidade vem antes de autonomia. Enquanto você não consegue ver o que o agente fez, cada grau de liberdade a mais é um grau de risco que ninguém está medindo.

Os quatro campos antes de ligar o primeiro agente

Na nossa prática: os quatro campos cabem em meia página e resolvem a maior parte dos incidentes que vemos. Um agente sem os quatro campos preenchidos não entra em produção.

Campo	A pergunta que ele responde	Exemplo de preenchimento	O erro comum
Finalidade	Para que este agente existe, em uma frase	“Responder dúvidas de prazo e rastreio de pedido no WhatsApp”	Finalidade larga demais, do tipo “ajudar o atendimento”
Escopo	O que ele pode e o que ele não pode fazer	“Pode consultar pedido e informar prazo. Não pode prometer data nova, dar desconto nem cancelar”	Escrever só o que ele pode, e deixar o resto em aberto
Permissões	A que sistemas e dados ele tem acesso, e com qual poder	“Leitura no sistema de pedidos. Nenhuma escrita. Sem acesso a dados de pagamento”	Dar o mesmo acesso de um funcionário sênior porque era mais rápido de configurar
Responsável	Quem responde pelo que ele fizer, com nome	“Marina, coordenadora de atendimento”	Pôr a área, e não a pessoa. Área não responde, pessoa responde

O campo do responsável é o que mais gera discussão e o que menos admite meio-termo. Chan e colegas (2023) são explícitos nesse ponto: reconhecer agência em sistemas algorítmicos não absolve nem desloca a responsabilidade humana pelos danos que eles causam. “Foi a IA que fez” não é uma posição defensável, nem dentro da empresa nem fora dela.

Por onde começar sem parar a operação

Se a sua empresa já tem agentes rodando, não comece escrevendo política. Comece fazendo a lista.

• Liste o que existe. Quantos agentes, onde, ligados por quem. Quase sempre são mais do que a diretoria imagina, porque a maioria foi ligada por uma área, sozinha.
• Preencha os quatro campos para cada um, começando pelos que escrevem em algum sistema ou falam com cliente.
• Corte permissão sobrando. Na nossa prática, é a medida mais barata e a de maior efeito. Acesso que o agente não usa é risco que não rende nada.
• Só então escreva a regra. Política escrita antes do inventário descreve uma empresa que não existe.

Leitura da CGLC: o mesmo cuidado de escopo que recomendamos no piloto de IA vale aqui, e por uma razão a mais. No piloto, o risco de errar é desperdiçar o investimento. Com agente em produção, o risco de errar chega ao cliente antes de chegar a você.

Para entender o que os agentes fazem e onde eles realmente funcionam, o ponto de partida é o nosso guia de agentes de IA. Para o quadro mais amplo de adoção, o pilar de IA para empresas organiza por onde começar.

Perguntas frequentes

O que é governança de agentes de IA?

É o conjunto de decisões que define para que um agente existe, até onde ele pode ir, a que sistemas e dados ele tem acesso e quem responde pelo que ele fizer. Diferente de uma política de princípios, esse conjunto é específico por agente e precisa existir antes de ele entrar em produção, porque o agente executa ações no mundo em vez de apenas sugerir texto.

Basta um humano aprovar as ações do agente?

Não basta, e pode atrapalhar. Green (2022) examinou 41 políticas de supervisão humana de algoritmos de governo e argumenta que elas legitimam sistemas falhos sem corrigi-los, porque a evidência que ele reúne sugere que as pessoas não conseguem exercer a supervisão esperada. O que ele examina são políticas, não pessoas em operação. Na nossa leitura, aprovação vira carimbo quando quem aprova está sob pressão de tempo e volume.

Por dentro, o que faz a aprovação humana falhar?

Na nossa leitura, o mecanismo mais provável é o viés de automação, a tendência a confiar demais na automação. A ligação com o achado de Green (2022) é nossa: nenhum dos dois estudos a faz. Goddard, Roudsari e Wyatt (2012) revisaram a literatura e relatam que carga de trabalho, complexidade da tarefa e restrição de tempo mediam o efeito. Os mitigadores que eles relatam são sobretudo de desenho do sistema e de responsabilização explícita do usuário. A revisão tem foco em apoio à decisão clínica e é de 2012, anterior aos agentes.

Qual o primeiro controle a implantar?

Chan e colegas (2024), em trabalho conceitual de conferência, avaliam três medidas de visibilidade: identificador de agente, monitoramento em tempo real e registro de atividade. Eles não medem a eficácia delas, e discutem implicações para privacidade. Na nossa prática, isso começa por listar quantos agentes existem, quem ligou cada um e o que podem tocar.

Se o agente errar, de quem é a responsabilidade?

Da pessoa que delegou, e essa conclusão é nossa. Chan e colegas (2023), em trabalho conceitual, enfatizam que reconhecer agência em um sistema algorítmico não absolve nem desloca a responsabilidade humana pelos danos. Por isso o campo do responsável precisa ter o nome de uma pessoa, e não o de uma área. Área não responde por incidente, pessoa responde, e é ela que precisa ter poder de desligar o agente.

Preciso de ferramenta para governar agentes?

Não para começar. Os quatro campos cabem numa planilha compartilhada e, na nossa prática, a maior parte do ganho vem de duas medidas sem custo: cortar permissão que o agente não usa e escrever o que ele não pode fazer, e não só o que ele pode. Ferramenta ajuda quando o número de agentes cresce a ponto de a planilha deixar de ser confiável.

Fontes e referências

• Chan, A., Salganik, R., Markelius, A., Pang, C., Rajkumar, N., Krasheninnikov, D., et al. (2023). Harms from increasingly agentic algorithmic systems. Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency, 651-666. https://doi.org/10.1145/3593013.3594033
• Chan, A., Ezell, C., Kaufmann, M., Wei, K., Hammond, L., Bradley, H., et al. (2024). Visibility into AI agents. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, 958-973. https://doi.org/10.1145/3630106.3658948
• Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review, 45, 105681. https://doi.org/10.1016/j.clsr.2022.105681
• Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121-127. https://doi.org/10.1136/amiajnl-2011-000089

A CGLC (Centro de Gestão e Liderança Contemporânea) é um laboratório de cocriação de soluções que apoia empresas e líderes no desenvolvimento de lideranças, cultura de inovação e gestão de pessoas.