Piloto de IA: o que é, como conduzir e como decidir se ele vira rotina

Piloto de IA é o teste limitado de uma ferramenta de inteligência artificial numa parte pequena da operação, por um tempo definido, para descobrir se ela funciona ali. Um grupo, um processo, algumas semanas. No fim, alguém precisa decidir se aquilo entra na rotina da empresa ou se acaba.

É essa segunda parte que costuma não acontecer. A demonstração funciona, todo mundo aprova, e três meses depois a planilha antiga continua sendo a que vale. Este artigo define o que é um piloto, mostra o que a pesquisa sobre implantação de tecnologia relata a respeito de projetos que não saem da fase de demonstração, e entrega um roteiro de seis passos e cinco critérios de decisão para fechar a volta.

O que é um piloto de IA

Um piloto de IA é um teste deliberadamente pequeno. A empresa escolhe uma ferramenta, escolhe um pedaço da operação, define um prazo e observa o que acontece. Pode ser o time comercial usando um assistente para preparar propostas durante seis semanas, ou o atendimento respondendo a primeira triagem com apoio de um modelo de linguagem por um mês.

O que o piloto responde é uma pergunta técnica e local: isto funciona aqui, com estas pessoas, neste processo? É uma pergunta legítima e vale a pena respondê-la antes de gastar dinheiro grande.

O que ele não responde é a pergunta seguinte, que é organizacional: a empresa consegue operar assim todo dia, com todo mundo, quando o entusiasmo passar e o fornecedor não estiver mais atendendo o telefone no mesmo dia? São duas perguntas diferentes, e confundir uma com a outra é o erro que este artigo trata.

O piloto responde	O piloto não responde
A ferramenta faz o que promete neste recorte	Ela continua fazendo quando o volume triplicar
As pessoas escolhidas conseguem usar	Quem não foi escolhido também consegue
Existe ganho aparente de tempo ou de qualidade	O ganho sobrevive à saída de quem puxou o projeto
O custo da licença cabe no teste	O custo recorrente de manter cabe no orçamento
Dá para conviver com o processo antigo por algumas semanas	Alguém vai decidir desligar o processo antigo

Na nossa prática: a pergunta que mais desarma uma reunião de resultado de piloto é simples e quase nunca é feita. Se isto for aprovado hoje, o que exatamente deixa de ser feito amanhã? Quando ninguém sabe responder, o piloto foi um acréscimo, não uma substituição, e acréscimo é o que a operação devolve na primeira semana cheia.

O número que resume o problema

Não existe, que eu tenha encontrado, uma estatística confiável de quantos pilotos de IA viram rotina. O que existe é um caso medido com cuidado, em outra tecnologia, que mostra o formato do problema com uma clareza rara.

Zanaboni e Wootton (2016) analisaram cinco anos de telemedicina nos hospitais da Noruega, de 2009 a 2013, com dados do registro nacional de pacientes. O país é um caso favorável: geografia que justifica atendimento a distância, história antiga de experimentação e política pública de incentivo.

O resultado tem duas metades que não conversam. Vinte e um dos 28 hospitais registraram uso de telemedicina em pelo menos um ano do período, o que os autores chamam de 75% de adoção no nível hospitalar. E em 2013 foram realizadas 2.879 consultas por videoconferência, contra 5.165.586 consultas ambulatoriais, ou 0,06% do total.

Três ressalvas importam, e nenhuma delas enfraquece o ponto. A primeira é que o critério de adoção é generoso: basta um ano com atividade não nula em cinco, e há hospital na conta dos 21 com uma única consulta em todo o período.

A segunda é que em nenhum ano isolado a adoção chegou a 75%, e em 2013 foram 16 dos 28 hospitais. A terceira é a concentração que os autores registram: poucos hospitais fizeram mais de 50 consultas por ano, e um único hospital responde pela maior parte do crescimento nacional.

A frase dos autores é contida: apesar da tendência de crescimento e da alta adoção, o uso relativo da telemedicina comparado ao das consultas ambulatoriais era baixo. E a tese que eles tomam emprestada da literatura, em uma linha: dar acesso à telemedicina não significa que os serviços serão usados em toda a sua capacidade.

Leitura da CGLC: olhando a Tabela 1 do estudo, a participação relativa era 0,06% em 2009 e 0,06% em 2013. Cinco anos, e a fração não se moveu. Isso é aritmética nossa sobre a tabela publicada, não afirmação dos autores, que só declaram crescimento em número absoluto. Vale registrar também que o estudo não traz seção de limitações e não discute possível sub-registro dos dados.

Por que o piloto não vira rotina

Aqui é preciso ser explícito, e a ressalva vale para toda esta seção. Nenhuma das fontes abaixo estudou inteligência artificial. Elas estudaram implantação de tecnologia e de inovação em organizações de serviço, principalmente de saúde. O que elas oferecem é o mecanismo, e o mecanismo é reconhecível na PME. Quem afirmar que a pesquisa mediu pilotos de IA estará indo além do que a literatura suporta. O trabalho empírico de Greenhalgh e colegas (2017) foi feito inteiramente no Reino Unido.

As restrições do piloto não são as da rotina

Greenhalgh e colegas (2017) relatam uma observação de Van Dyk que ajuda a entender o fenômeno: os desafios e as restrições de um serviço apoiado por tecnologia variam conforme o estágio de desenvolvimento.

No protótipo, o que pesa é prova de conceito e usabilidade. No piloto de pequena escala, é a aceitação das pessoas e da sociedade. Na expansão local, quando o apoio financeiro deixa de ser verba de projeto e passa a ser custo real com linha recorrente de orçamento, o que pesa são as considerações financeiras e organizacionais.

Repare no que isso significa na prática. O piloto é avaliado por um critério, e a rotina é decidida por outro. Um piloto pode ser um sucesso completo no critério dele, a aceitação das pessoas, e ainda assim nunca passar no critério que vem depois, que é orçamento recorrente e reorganização do trabalho. Não há contradição entre as duas coisas, e é justamente por isso que a surpresa é tão comum.

Decidir adotar não é passar a usar

Wisdom e colegas (2013) revisaram 20 modelos teóricos de adoção de inovação e tratam a adoção como o que ela é: uma decisão. Nas palavras deles, é a decisão de prosseguir com uma implementação total ou parcial. E registram que a adoção ou avança para as atividades iniciais de implementação, ou reverte para o abandono, sobre o qual há pouca informação disponível.

Os autores sugerem, a partir disso, que a adoção deveria ser considerada um construto separado dos demais estágios da implementação. Vale acrescentar a fragilidade que eles mesmos declaram: dos 20 modelos revisados, apenas cinco incluem dados empíricos para testar as hipóteses. É um campo com muita teoria e pouca medição.

Greenhalgh e colegas (2004), numa revisão sistemática que avaliou 1.024 textos completos e reteve 495 fontes, das quais 213 empíricas, dão a esse ponto a formulação mais dura que encontrei. Perguntando por que e como pessoas e organizações rejeitam uma inovação depois de adotá-la, eles anotam entre parênteses que, nos mais de duzentos estudos empíricos cobertos pela revisão, apenas um estudou de forma explícita e prospectiva a descontinuidade.

Um em mais de duzentos. A literatura de inovação estudou exaustivamente como fazer alguém dizer sim, e quase não estudou o que acontece depois do sim.

O processo antigo continua rodando

A passagem mais útil do trabalho de Greenhalgh e colegas (2017) para quem dirige uma PME está na pergunta que eles fazem sobre a organização. Ela considera até que ponto as rotinas de trabalho estabelecidas serão perturbadas ou tornadas frágeis demais pela nova tecnologia.

E os autores descrevem o que pode acontecer: em alguns casos haverá um período de transição em que as rotinas novas ligadas à tecnologia serão executadas em paralelo com as existentes, talvez em sistemas antigos, antes de, esperançosamente, substituí-las.

O advérbio está no original, e ele é a coisa mais honesta do estudo inteiro. O período de transição pode nem existir; quando existe, o que fica como esperança é a substituição.

Na nossa prática: quando ninguém marca a data em que o paralelo termina, o paralelo é o estado final.

Na grade que os autores usam para classificar dificuldade, esse item tem três degraus. O caso simples é quando nenhuma rotina nova de equipe é necessária. O caso complicado é quando as rotinas novas se alinham facilmente às estabelecidas. E o caso complexo, o pior dos três, é quando as rotinas novas conflitam com as estabelecidas.

Sobre o desfecho, os autores são cuidadosos, e vale reproduzir o cuidado. Programas caracterizados por complicação provaram ser difíceis, mas não impossíveis de implementar. Aqueles caracterizados por complexidade em múltiplos domínios raramente, ou nunca, se tornaram parte do serviço corrente. Note que eles não afirmam nada sobre o desfecho dos programas classificados como simples, e nós também não vamos afirmar.

Sustentar custa dinheiro recorrente, e quase ninguém orça

Ainda em Greenhalgh e colegas (2017), os seis estudos de caso confirmaram pesquisa anterior de que o trabalho de implantação é extenso, muitas vezes invisível e tipicamente subestimado na fase de planejamento. E os autores acrescentam uma observação que soa familiar a qualquer dono de PME: várias das organizações estudadas não pareciam sequer reconhecer a necessidade de um orçamento dedicado, além do custo da tecnologia, para apoiar implantação e manutenção.

Isso conversa com o que Greenhalgh e colegas (2004) listam entre os oito determinantes de rotinização de uma inovação. Um deles é financiamento: havendo verba dedicada e contínua para a implantação, a inovação tem mais probabilidade de ser implementada e rotinizada, com o que eles classificam como evidência direta forte.

E conversa com o levantamento de Hailemariam e colegas (2019), uma revisão sistemática que triou 4.892 artigos e incluiu 26 na análise final. A estratégia de sustentação mais frequentemente relatada nesses 26 estudos foi financiamento ou contratação para o uso continuado, presente em 11 deles, seguida de manutenção das habilidades da equipe por treinamento continuado, em 8.

Duas ressalvas sobre esses números, e as duas são necessárias. A primeira é que a revisão conta frequência de menção, não testa associação: dizer que essas estratégias funcionam seria atribuir aos autores um teste que eles não fizeram. A segunda é que, no próprio estudo, o texto narrativo e a Tabela 4 divergem em uma unidade em várias linhas; os valores acima são os da tabela, que é a fonte mais conservadora.

Estratégia relatada	Estudos, de 26
Financiamento ou contratação para o uso continuado	11
Manutenção das habilidades por treinamento continuado	8
Adaptação mútua entre a intervenção e a organização	7
Adaptação sistemática da intervenção	7
Liderança priorizando e apoiando o uso continuado	5
Prioridades da organização alinhadas à intervenção	4
Manutenção da adesão da equipe	2
Monitoramento da efetividade	1

Como conduzir um piloto de IA em seis passos

O roteiro abaixo é o que aplicamos em diagnóstico na PME. Ele não muda o que se faz durante o piloto: muda o que se combina antes de começar e o que se decide no fim, e é nesses dois pontos que, na nossa leitura, os mecanismos descritos acima aparecem.

1. 1. Escolher a tarefa pela dor, não pela vitrine

   A tarefa deve ser frequente, cara quando dá errado e com dado disponível. A mais fácil de demonstrar costuma ser a menos importante de resolver

2. 2. Medir o processo antigo antes de ligar o novo

   Quanto tempo leva hoje, quantos erros dá hoje, quanto custa hoje. Sem essa linha de base, ao fim do piloto não haverá comparação possível, só impressão

3. 3. Escrever o critério de decisão antes de começar

   Que resultado, medido como, autoriza a expansão. Critério definido depois do teste é critério ajustado ao resultado que apareceu

4. 4. Combinar a data em que o processo antigo é desligado

   Se o piloto passar no critério, o paralelo termina em data marcada. É o passo que mais some, e o que decide se aquilo vira rotina ou fica de enfeite

5. 5. Orçar o custo recorrente, não o custo do teste

   Licença, tempo de manutenção, treino de quem entra depois e as horas de quem cuida. O custo do piloto engana porque quase todo ele é de alguém animado trabalhando de graça

6. 6. Decidir por escrito, inclusive encerrar

   Escalar, ajustar e repetir, ou encerrar com o motivo registrado. Piloto sem decisão escrita não termina: ele apenas para de ser mencionado

O passo 3 tem apoio indireto na literatura, e vale nomeá-lo. Moore e colegas (2017) revisaram as definições de sustentação usadas na área e encontraram que, de 209 artigos elegíveis, apenas 24, ou 11,5%, traziam uma definição do que seria sustentar. Entre essas 24 definições, 17 falavam da continuidade da entrega do programa e 13 mencionavam tempo.

Leitura da CGLC: se a própria literatura especializada raramente define o que significa “continuou funcionando”, uma empresa que não escreve o critério antes de começar tem pouca chance de julgar o resultado sem viés.

Como decidir se o piloto vira rotina

A régua abaixo é o entregável deste artigo. Ela não substitui julgamento, e serve para tornar a conversa de decisão específica em vez de genérica. Cada linha é uma pergunta com resposta verificável, e a coluna da direita diz o que fazer quando a resposta é não.

Critério	Pergunta que decide	Se a resposta for não
1. Ganho medido	O resultado do piloto é melhor que a linha de base do passo 2, medido do mesmo jeito?	Não escalar. Sem linha de base, voltar e medir antes de decidir
2. Ganho sem o entusiasta	O ganho aparece também com quem não participou do piloto e não escolheu estar ali?	Ampliar o piloto para um segundo grupo antes de decidir
3. Processo antigo desligável	Existe data marcada e dono para desligar o que a ferramenta substitui?	Não escalar. Sem isso a empresa acumula os dois processos
4. Custo recorrente coberto	O custo de manter cabe no orçamento do ano que vem, com dono declarado?	Renegociar escopo ou encerrar. Não deixar para descobrir depois
5. Alguém responde pela ferramenta	Há uma pessoa nomeada responsável por manter, treinar quem entra e revisar quando falhar?	Nomear antes de escalar, ou não escalar

Na nossa prática: o critério 3 é o que mais reprova piloto bom, e é o mais impopular de aplicar. Manter o processo antigo rodando parece prudência, e por algumas semanas é. Passado esse tempo, ele deixa de ser rede de segurança e vira concorrente: enquanto existir um jeito conhecido de fazer, a maior parte da equipe vai fazer pelo jeito conhecido, sobretudo na semana em que a operação apertar.

Vale dizer o que a régua não faz. Ela não prevê o resultado, não substitui a decisão de quem dirige e não vem testada em estudo nenhum. É um instrumento de conversa, e o mesmo cuidado que Greenhalgh e colegas (2017) declaram sobre o próprio modelo se aplica aqui: eles escrevem que o modelo foi feito para guiar conversas e gerar ideias, e não para ser usado como lista de verificação.

Erros comuns no piloto de IA

Erro	Como aparece	O que fazer
Piloto sem linha de base	No fim, a avaliação é “todo mundo gostou”	Medir o processo antigo antes de ligar o novo
Time escolhido a dedo	Só participam os mais animados com tecnologia	Incluir ao menos uma pessoa que não pediu para estar ali
Prazo aberto	O piloto vira permanente sem nunca ter sido aprovado	Data de fim e data de decisão marcadas na largada
Processo antigo mantido por precaução	Seis meses depois, a operação roda os dois	Data de desligamento combinada no passo 4
Custo do teste confundido com custo de operar	A conta do ano seguinte surpreende	Orçar manutenção, treino e horas de quem cuida
Ninguém responde pela ferramenta	Quando ela falha, a equipe volta ao jeito antigo e não avisa	Nomear responsável antes de escalar

Onde o piloto se encaixa

O piloto não compete com os outros instrumentos de gestão que a empresa já usa. Ele ocupa um lugar específico na sequência, e tratá-lo como se fosse a decisão inteira é o que faz uma PME repetir a mesma demonstração três vezes em dois anos, com fornecedores diferentes.

Etapa	Responde a que pergunta	Quando entra
Inteligência artificial para empresas	O que a tecnologia é e onde ela costuma gerar valor	Antes de tudo, para escolher o terreno
Adoção de IA nas empresas	Em que pé está o mercado e quais são as barreiras	Antes, para calibrar expectativa
Agentes de IA	Que tipo de tarefa se entrega a um agente	Antes, para escolher a tarefa do piloto
Piloto de IA	Isto funciona aqui, neste recorte, neste prazo	Durante, e só responde por esta etapa
Ciclo PDCA	O que aprendemos e se adotamos de vez	Depois, para fechar a volta e decidir

Vale uma observação sobre o ambiente em que essa decisão acontece. Encerrar um piloto que não passou no critério é, para muita gente, admitir que errou na escolha, e empresa que trata teste malsucedido como falha pessoal aprende a não testar. Sustentar uma cultura de inovação é, em boa parte, bancar o encerramento honesto sem punir quem propôs.

Perguntas frequentes

O que é um piloto de IA?

É o teste limitado de uma ferramenta de inteligência artificial num recorte pequeno da operação e por um prazo definido, para verificar se ela funciona naquele contexto. Ele responde uma pergunta técnica e local. Não responde se a empresa consegue operar com a ferramenta todo dia, com todo mundo, depois que o entusiasmo inicial passa, que é uma pergunta organizacional e se decide por outros critérios.

Quanto tempo deve durar um piloto de IA?

Na nossa prática: o suficiente para atravessar um ciclo completo do processo testado, e nem um dia a mais. Se o fechamento é mensal, o piloto precisa passar por um fechamento inteiro. O que não funciona é prazo aberto: sem data de fim e data de decisão marcadas na largada, o piloto não é aprovado nem encerrado, apenas deixa de ser mencionado nas reuniões.

Por que pilotos bem avaliados não viram rotina?

Porque as restrições mudam de estágio. Greenhalgh e colegas (2017) relatam a observação de Van Dyk de que, no piloto de pequena escala, o que pesa é a aceitação das pessoas, enquanto na expansão local o que pesa são as considerações financeiras e organizacionais, com o apoio deixando de ser verba de projeto e virando linha recorrente de orçamento. O piloto é julgado por um critério e a rotina é decidida por outro. Vale a ressalva: essa pesquisa é sobre tecnologias de saúde, não sobre inteligência artificial.

Devo manter o processo antigo rodando junto?

Por um período curto, sim, e Greenhalgh e colegas (2017) descrevem esse período de transição como algo que acontece em alguns casos, com as rotinas novas rodando em paralelo com as existentes antes de, esperançosamente, substituí-las. O problema é o paralelo sem data de fim. Na nossa prática: enquanto existir um jeito conhecido de fazer a mesma coisa, é por ele que a maior parte da equipe vai fazer, principalmente na semana em que a operação apertar.

Qual é o maior custo escondido de um piloto de IA?

O custo de manter, que não aparece na conta do teste. Greenhalgh e colegas (2017) relatam que o trabalho de implantação é extenso, muitas vezes invisível e tipicamente subestimado no planejamento, e que várias das organizações que estudaram não pareciam reconhecer a necessidade de orçamento dedicado, além do custo da tecnologia, para apoiar implantação e manutenção. Na PME isso costuma aparecer como horas de alguém que já tem outra função e passou a cuidar da ferramenta.

Existe estatística de quantos pilotos de IA viram rotina?

Não que eu tenha encontrado em literatura revisada por pares, e este artigo não apresenta nenhuma. As seis fontes citadas aqui não estudaram inteligência artificial: elas tratam de implantação de tecnologia e inovação em organizações de serviço, em sua maioria de saúde. O caso medido mais próximo é o da telemedicina norueguesa em Zanaboni e Wootton (2016), e ele mostra o formato do problema, não o número da IA.

Fontes e referências

• Greenhalgh, T., Robert, G., Macfarlane, F., Bate, P., e Kyriakidou, O. (2004). Diffusion of Innovations in Service Organizations: Systematic Review and Recommendations. The Milbank Quarterly, 82(4), 581-629. https://doi.org/10.1111/j.0887-378X.2004.00325.x
• Greenhalgh, T., Wherton, J., Papoutsi, C., Lynch, J., Hughes, G., A’Court, C., Hinder, S., Fahy, N., Procter, R., e Shaw, S. (2017). Beyond Adoption: A New Framework for Theorizing and Evaluating Nonadoption, Abandonment, and Challenges to the Scale-Up, Spread, and Sustainability of Health and Care Technologies. Journal of Medical Internet Research, 19(11), e367. https://doi.org/10.2196/jmir.8775
• Hailemariam, M., Bustos, T., Montgomery, B., Barajas, R., Evans, L. B., e Drahota, A. (2019). Evidence-based intervention sustainability strategies: a systematic review. Implementation Science, 14(1), 57. https://doi.org/10.1186/s13012-019-0910-6
• Moore, J. E., Mascarenhas, A., Bain, J., e Straus, S. E. (2017). Developing a comprehensive definition of sustainability. Implementation Science, 12(1), 110. https://doi.org/10.1186/s13012-017-0637-1
• Wisdom, J. P., Chor, K. H. B., Hoagwood, K. E., e Horwitz, S. M. (2013). Innovation Adoption: A Review of Theories and Constructs. Administration and Policy in Mental Health and Mental Health Services Research, 41(4), 480-502. https://doi.org/10.1007/s10488-013-0486-4
• Zanaboni, P., e Wootton, R. (2016). Adoption of routine telemedicine in Norwegian hospitals: progress over 5 years. BMC Health Services Research, 16, 496. https://doi.org/10.1186/s12913-016-1743-5
• A observação sobre a variação das restrições conforme o estágio de desenvolvimento é de Van Dyk, citada aqui conforme o relato de Greenhalgh e colegas (2017). Nenhum dos seis estudos citados examinou pilotos de inteligência artificial: todos tratam de implantação de tecnologia e de inovação em organizações de serviço, predominantemente de saúde.

A CGLC (Centro de Gestão e Liderança Contemporânea) é um laboratório de cocriação de soluções que apoia empresas e líderes no desenvolvimento de lideranças, cultura de inovação e gestão de pessoas.