O que acontece com uma IA no atendimento quando a pessoa que cuidava dela vai embora

Ian aqui 👋

Toda semana eu tenho três ou quatro conversas com líderes de CX prestes a trocar de fornecedor de IA. Em quase todas elas eu faço a mesma pergunta (e recebo o mesmo silêncio como resposta): quando foi que a IA piorou?

Todo mundo sabe dizer o dia em que ela entrou no ar (tem mensagem no Slack, print do primeiro atendimento resolvido). Ninguém sabe o dia em que ela começou a errar. E não é falta de atenção, é que não teve um dia mesmo. Não existe um incidente ou uma queda de sistema pra citar.

São empresas, segmentos e tamanhos diferentes, e a história é quase sempre a mesma. Implementou IA no atendimento há um ano, um ano e meio, o começo foi bom, teve reunião de resultado pro time comemorar os números, até que, "de repente", a coisa começou a piorar.

Aí eu faço a outra pergunta: o que mudou na IA? E a resposta é quase sempre "nada". A empresa segue com a mesma ferramenta e o mesmo contrato, com o desenho que foi montado com cuidado no começo. Não entrou funcionário novo pra mexer, não tem ninguém pra culpar. Pra mim, isso é sempre uma pista.

Se nada mudou na IA e ela piorou, alguma outra coisa mudou. A empresa mudou.

Semana passada, na edição que eu escrevi depois do Customer Day, eu citei esse padrão de passagem e dei o nome dele: IA órfã. Essa edição aqui é a anatomia. São quatro fases, e nas operações que eu acompanho elas se repetem na mesma ordem que eu trago. Cada uma tem um teste prático pra você saber se está nela agora, e qualquer uma delas dá pra interromper (com sorte antes de o cliente perceber).

A piora aparece nas conversas da IA muito antes de ser visível em números. São quatro sinais disso, geralmente aparecendo juntos.

Antes de listar, um aviso pra quem lê a news há mais tempo e pode sentir um déjà-vu: o Cecatto já descreveu sintomas parecidos na edição do prompt monolítico que não aguenta crescer, lá em junho. Ele estava falando de uma causa arquitetural, eu estou falando de uma causa operacional, e as duas convivem na mesma operação sem problema. A diferença relevante é que a arquitetural você resolve mexendo na IA. Essa aqui não.

O primeiro sinal é a IA repetindo a mesma resposta em situações que não são a mesma coisa. Um cliente pergunta do pedido atrasado e recebe um parágrafo, outro cliente pergunta de reembolso e recebe aquele mesmo parágrafo com meia dúzia de palavras trocadas, porque a IA perdeu a capacidade de distinguir os dois casos e passou a responder pela média deles.

O segundo é a calibragem de pergunta invertida. Ela pergunta demais no caso simples (pede CPF, número do pedido e e-mail de cadastro pra informar coisas tipo horário de funcionamento) e pergunta de menos no caso sensível (confirma um cancelamento sem checar se era isso mesmo que o cliente queria e sem tentar entender o motivo). O que aconteceu: a IA perdeu a noção de risco e passou a tratar tudo com o mesmo peso.

O terceiro são as alucinações pequenas (sob um certo ângulo, as piores). A IA não diz nenhum absurdo, diz coisas plausíveis até, mas que no fim das contas estão erradas: a política de troca, que era de 30 dias, mudou pra 7 e ela continua prometendo 30. Ela passa um prazo de entrega que a logística não cumpre mais, porque trocou de operador recentemente. De alucinação grande o cliente desconfia na hora. Na alucinação pequena ele acredita, agradece e é frustrado só lá na frente, por isso que eu digo que pode custar até mais caro.

O quarto é o tom se perdendo. As respostas vão perdendo a cara da marca e ficam mais genéricas, uma coisa que era personalizada vira "lamentamos o transtorno".

Tudo isso, com frequência, o cliente sente antes da empresa.

No episódio 4 do podcast SemFiltro, a gente passou um bom tempo falando do que mais incomoda em atendimento por IA. As irritações que a gente levantou lá ilustram bem os quatro sinais aí de cima.

O ticket que fecha em cinco minutos com o assunto em aberto é a noção de risco perdida.

O humano que chega e pergunta tudo de novo, depois de a IA já ter perguntado a mesma coisa, é a IA respondendo pela média e o escalonamento sem contexto.

Os 30 tickets em dois dias pra marcar uma consulta, com o chatbot encerrando a conversa a cada dois minutos e meio, são o combo inteiro rodando junto.

Na gravação, me pegou muito um dado que o Cecatto trouxe. Ele contou que, em uma enquete do LinkedIn com milhares de respostas, a maioria disse: "tanto faz se é IA ou humano, quero meu problema resolvido".

Se a tecnologia resolver, ninguém vai reclamar dela. A dor do cliente não é ser atendido por IA, é sair da conversa sem o problema resolvido.

O teste da fase 1 é o mais fácil dessa edição. Pega 20 ou 30 conversas da semana passada, escolhidas sem critério nenhum, e lê procurando os quatro sinais. Se dois deles aparecerem com frequência, a sua IA já está na fase 1. E você só precisa de uma tarde, não de uma ferramenta nova.

O dashboard não acusa por um motivo aritmético. O CSAT não caiu porque o CSAT é uma média, respondida pela minoria que se dispõe a avaliar, e a fase 1 produz erro no caso individual, que é exatamente o que uma média dilui. A experiência vai ficando terrível pro cliente e o número segue bonito por um tempo.

Reconhecido o sintoma, volto pra pergunta lá de cima: por que a IA que era boa começou a errar?

Vou explicar em três atos o que eu sempre descubro que aconteceu.

Ato um: a pessoa que montou o setup original sai da empresa por qualquer motivo. A empresa transfere os acessos. Mas não transfere o conhecimento tácito, os porquês: por que a IA não oferece reembolso antes de checar uma coisa específica, por que esse fluxo escala pro humano e aquele não, por que aquela resposta ficou com aquele desenho esquisito depois de uma reclamação específica de dois anos atrás. Nada disso está documentado, então quem herda a IA herda as regras sem contexto, coisa em que ninguém tem coragem de mexer.

Ato dois: as bases de conhecimento vão sendo atualizadas em vários lugares, menos no que alimenta a IA. O Bruno contou esse mecanismo com nome e sobrenome duas semanas atrás, nas 3 histórias da operação de CX da Boca Rosa. O Marketing de lá mudava banner, regra e cupom de um dia pro outro, por estratégia comercial legítima, e ninguém avisava o CX. A IA seguia respondendo sobre a promoção da semana passada, com a informação que ela tinha. A supervisora que foi investigar voltou pro Xavier (gerente de operações deles) com a frase que resume a fase 2 inteira: "Xavier, o problema tá na nossa operação".

Na Boca Rosa alguém foi investigar. É isso que importa aqui. Na maioria das operações, a base da IA fica pra depois e continua pra depois, porque atualizar ela não está no escopo de ninguém. É um problema de organograma. Tarefa sem dono não entra em nenhuma agenda e simplesmente não é feita.

Ato três: a empresa cresce e o território da IA não. Não é a mesma coisa do ato dois, lá o problema é resposta obsoleta, aqui é assunto que nunca chegou a entrar. Lança uma linha de produto e aparece um tipo de pergunta que ninguém mapeou, e a IA manda tudo pro humano porque nem sabe do que se trata. Alguém redesenha um processo depois de um trimestre ruim e surge um caminho de escalonamento que a IA não conhece. Abre um canal, entra um meio de pagamento novo, e a operação de hoje tem uma área inteira que nunca foi apresentada pra IA. 

O ato dois deixa a IA equivocada. O ato três deixa ela limitada, e isso é mais difícil de enxergar, porque não gera erro nenhum. Ninguém audita o que uma IA nem tenta fazer.

E a parte contraintuitiva: quanto melhor foi o setup do dia 1, mais tempo a empresa demora a desconfiar. A fama de "a nossa IA funciona bem" protege a IA da auditoria, ninguém audita o que tem fama de funcionar. O esforço inicial compra confiança, e essa confiança camufla os quatro sinais da fase 1 enquanto eles crescem.

As provas vivas estão na nossa base de reuniões. Lá tem uma conta com uma empresa de telecom que atende PME, onde a IA foi montada com capricho, funcionou, e ficou sem dono depois que a pessoa que criou a estrutura saiu. Se você visse a descrição de como ela estava, veria a fase 1 inteira de uma vez: IA alucinando, sugerindo coisa que não fazia sentido pro contexto, repetitiva, falando demais em alguns casos e perguntando de menos em outros, e sem levantar alerta nos momentos em que devia escalar. Sem grandes mudanças ou negligência de alguém, só saiu uma pessoa.

Esse padrão se repete com muita frequência na rotina de primeiras reuniões que eu faço. O tamanho e o segmento das empresas variam, o enredo não.

É a IA órfã que eu trouxe lá no palco do Customer Day: a mesma IA de sempre, de repente sem ninguém da empresa responsável por ela. E a orfandade quase nunca é uma decisão consciente, ela vem da vaga que ninguém repôs.

A conta chega espalhada e cresce rápido. Tenho mapeado cinco lugares diferentes onde ela aparece ao mesmo tempo, cada um com um motivo pra passar batido.

O primeiro lugar é a retenção da IA, que cai devagar. Pelas minhas contas, olhando as operações que eu acompanho, uns 3 pontos percentuais por mês, acumulando mês a mês. O time absorve esse volume extra sem reclamar nos primeiros meses. Queda lenta parece flutuação, e sempre tem uma explicação-desculpa: teve campanha, foi pico sazonal, é época do ano, o mês passado é que foi fora da curva.

O segundo lugar é a qualidade do ticket que chega no humano. Ele chega pior porque o cliente já passou raiva com a IA antes de falar com gente, então o tempo de atendimento sobe e o CSAT do humano cai. E a sacanagem é que o diagnóstico aponta pro time. O supervisor olha os números do humano piorando e conclui que o problema é gente, treinamento, contratação, quando o time está só limpando a bagunça da IA órfã e sofrendo as consequências no lugar dela.

O terceiro lugar são os agregados, CSAT caindo e tempo médio subindo devagar demais pra gerar alarme e rápido o suficiente pra ferrar um trimestre inteiro. Ninguém abre um projeto por causa de meio ponto (e é sempre meio ponto).

O quarto lugar é o orçamento. O supervisor pede headcount, o financeiro aprova porque o volume justifica, e ninguém liga o aumento à IA por uma razão bem concreta: a fatura do fornecedor de IA não muda quando a qualidade cai. A linha "IA" do orçamento continua idêntica, a linha "gente" incha, e a leitura que a empresa faz da própria planilha é que falta eficiência, o que às vezes termina na ironia de um pedido por mais automação pra resolver o problema que a automação sem dono criou.

O quinto lugar é o custo que sai da operação e vai pro resto da empresa. O cliente que confiou na alucinação pequena leva a informação errada pra frente, e ela reaparece como reclamação no Reclame Aqui, como retrabalho do financeiro pra estornar o que foi prometido errado, e nos casos mais sérios como problema regulatório, que já não é nem assunto de CX.

Somando os cinco, uma operação de tamanho médio passa fácil de algumas dezenas ou centenas de milhares de reais por mês. Um adendo: isso é ordem de grandeza de quem senta em muitas operações, não é medição. Prefiro entregar o número com essa moldura do que entregar um número exato que eu não meço, mas é o que eu vejo nos casos que acompanho.

Dois casos públicos que já passaram por aqui ajudam a fechar o raciocínio, e agora servem pra outra coisa: mostrar os dois extremos dessa conta, o judicial e o reputacional.

A Air Canada é o judicial. Um passageiro chamado Jake Moffatt, que tinha acabado de perder a avó, perguntou ao chatbot do site sobre a tarifa de luto. O chatbot respondeu que ele podia comprar a passagem e pedir o desconto retroativamente. A política real da companhia não permitia isso, o robô inventou. O caso foi parar no Civil Resolution Tribunal da Colúmbia Britânica, e a defesa da empresa foi que o chatbot seria uma entidade separada, responsável pelas próprias respostas. Em fevereiro de 2024, o tribunal rejeitou o argumento e condenou a Air Canada a indenizar em uns 800 dólares canadenses. O valor é irrisório e é exatamente esse o ponto: o custo real foi virar o exemplo que o mundo inteiro cita até hoje quando quer falar de IA em atendimento fazendo besteira. 

O reputacional é a Klarna, que o Cecatto já destrinchou na edição das seis camadas: cortou atendimento humano, anunciou com orgulho, e voltou atrás quando a qualidade cobrou o preço.

Nenhum dos dois casos levanta a bola de que IA em atendimento é perigosa. A conclusão é que IA sem vigilância cobra juros, e os juros compostos dessa dívida são os cinco lugares que eu citei aí em cima, rodando juntos por mais de meio ano sem ninguém ligar os pontos.

Uma vez que se descobre o problema, a forma mais comum das empresas reagirem é também a que custa mais caro, além de não resolver.

E eu entendo a reação. Abri essa edição falando disso, não à toa. No ponto em que a conta fica visível, a IA já virou a vilã da operação e trocar de fornecedor parece a única ação decisiva possível. Dá pra colocar no planejamento do trimestre, tem começo, meio e fim, elege um responsável, e sinaliza pra empresa inteira que alguém tomou uma atitude.

A essa altura você que me lê já entendeu que a troca, isolada, trata os sintomas e leva a causa junto pra ferramenta nova. O roteiro do processo se repete: RFP ou piloto, uns três meses de migração, setup novo e caprichado, o time aliviado, e mais meio ano no máximo pra mesma curva recomeçar. A IA segue sem dono, a ferramenta nova envelhece na mesma velocidade que a anterior pelo mesmo motivo.

Eu vendo IA e tenho que ser honesto: não resolvo esse problema sozinho. A Cloud Humans não resolve. Boa parte dessas conversas semanais gera clientes pra gente, e a primeira coisa que eu digo pra quem senta comigo querendo migrar é que, se ninguém do lado de lá assumir a IA como responsabilidade primária, a história vai se repetir com qualquer fornecedor. Inclusive com a gente. A variável está do lado do cliente, não do nosso. A única coisa que um fornecedor pode fazer pra ajudar é isso: (re)conhecer o problema e auxiliar nessa clareza, pra que a implementação da IA aconteça simultaneamente a uma mudança de cultura na empresa.

Recapitulando as quatro fases: sintoma que o dashboard não mostra, orfandade da IA, conta espalhada em cinco lugares, e troca de ferramenta que leva o problema junto.

Compilei em três perguntas o caminho pra solução disso, pode responder enquanto lê.

UM: qual é a taxa de retenção da sua IA hoje?

DOIS: qual era essa taxa há seis meses? Essa é frequente a pessoa não saber responder. Quase nenhuma operação guarda histórico de retenção da IA, e sem histórico não tem como avaliar tendência. A queda gradativa de uns poucos pontos só fica aparente na comparação mês a mês. Quem não guarda a série está escolhendo não ver a fase 1, mesmo sem ter tomado essa decisão conscientemente.

TRÊS: se a pessoa que cuida da sua IA sair amanhã, o que fica? Nome no organograma a edição passada já cobrou, e eu sei que muita gente aqui mandou a mensagem que eu pedi pra conseguir o seu. Essa é a pergunta seguinte da fila: o que dessa cadeira está escrito em algum lugar que não seja a cabeça de uma pessoa (que agora acabou de ir embora)? Os porquês de cada regra, a série histórica da retenção, a rotina de ler conversa e atualizar a base. Se a resposta for "está tudo com ela", você agora não tem um dono, tem um ponto único de falha, e a fase 2 já começou aí dentro, só não deu sinal ainda.

Se essa sequência ligou um alerta por aí, vale parar e olhar pra isso essa semana, antes do prejuízo chegar com força pra você e o cliente.

O que protege sua IA não é o esforço do dia 1, é a rotina do mês 8.

Em qual pergunta você travou? Responde aqui e me conta. Leio tudo e sempre respondo de volta. Me interessa conhecer mais casos e ouvir vocês sobre como a conversa bateu aí.

CXperts é o braço de conteúdo e comunidade da Cloud Humans. Criamos o espaço mais relevante do Brasil para quem acredita que experiência do cliente não é suporte, é estratégia.

O que você encontra no ecossistema CXperts:

1/ CXperts Club: Grupo curado no WhatsApp para líderes reais trocarem entre si — sem buzzword, sem spam. Envie sua aplicação por aqui.

2/ Round Table mensal: Encontro fechado com membros da comunidade para discutir um tema relevante com profundidade.

3/ CXperts Insights: Nossa newsletter semanal com ideias provocativas, benchmarks e reflexões sobre o novo CX.

Feito para quem lidera CX com ambição: nosso foco são c-levels e gestores/heads de Customer Experience em startups e e-commerces em crescimento.

Se você está no front de decisões estratégicas, esse espaço é seu. Junte-se ao CXperts ;)

powered by