Seu time não piorou, a comparação é que mente

Bruno aqui 👋

Em fevereiro de 2024 a Klarna soltou o anúncio que todo mundo de CX recebeu no grupo de WhatsApp pelo menos umas três vezes. O assistente de IA deles tinha conduzido 2,3 milhões de conversas no primeiro mês, dois terços de todo o chat de atendimento, o equivalente ao trabalho de 700 atendentes em tempo integral. O tempo pra resolver caiu de 11 minutos pra menos de 2, a satisfação ficou no mesmo nível da dos atendentes humanos e o recontato caiu 25%.

Catorze meses depois, o CEO, Sebastian Siemiatkowski, disse pra Bloomberg que o custo tinha virado um critério de avaliação predominante demais e que o resultado foi um atendimento de qualidade mais baixa — não deixou claro se os números mudaram ou o que levou a essa conclusão, mas a Klarna começou a contratar gente pro atendimento de novo (e segue dizendo que é AI-first, antes que alguém venha comemorar a “derrota” da IA).

O fato é que os números, no começo, estavam lá: tempo, satisfação e recontato, medidos e reportados, parecendo notícias boas sobre a mudança. O que o CEO foi admitir em público um ano depois não aparecia nos números do anúncio.

Não conheço os números da Klarna a fundo, mas em qualquer operação que acabou de colocar IA, dá pra ver o padrão: quem olha o painel continua comparando os números de agora com os de antes, sendo que os casos que chegam pro time já não são os mesmos.

Tempo médio de atendimento (TMA), resolução no primeiro contato (FCR) e nota média de satisfação (CSAT) nasceram numa operação em que todo ticket caía na mesma fila e era atendido por gente. O caso fácil e o difícil iam pra essa gente, somar tudo e dividir fazia sentido nesse contexto.

Em outubro, na edição com o James da Lia, a gente falou do que acontece quando o painel continua cobrando atendimento rápido como num call center e acaba punindo o atendente que estica a conversa pra vender ou segurar o cliente. Hoje eu falo aqui de outro problema que a IA trouxe pro mesmo painel, que é o que acontece com os números quando a fila se bifurca em duas.

A IA não pega uma fatia aleatória dos tickets, ela pega os que consegue resolver, e esses costumam ser os recorrentes, aqueles poucos motivos que concentram a maior parte do volume. O que sobra pro time é o que ela não deu conta, ou seja, os casos mais longos e mais difíceis. Ainda que o painel já separe IA e time (coisa que muita ferramenta de IA e muito helpdesk já oferecem), a linha do time continua sendo comparada com a do ano passado, quando ele também pegava os casos fáceis, e era outro cenário.

Começa pelo tempo médio. Se o agente responde a segunda via de boleto, a troca de senha e o status do pedido, o atendente humano passa o dia em caso longo, com cliente que já tentou resolver antes e chega irritado. O tempo médio dele sobe e ninguém ficou mais lento, ele só mudou de fila. Quem mantém tempo médio como meta individual depois da IA tá cobrando do atendente uma coisa que a IA decidiu por ele. Do lado da IA, o tempo vai pra perto de zero e para de dizer qualquer coisa, então o número consolidado vira uma média entre quase nada e um time que só pega pedreira, e não descreve, no fim, nenhum dos dois.

A nota de satisfação também engana, porque uma média boa pode esconder um monte de nota péssima concentrada num tipo de caso só, e você só enxerga isso abrindo separado por motivo. Quando a Klarna disse que a satisfação tava no mesmo nível da humana, ela tava falando de uma média, um número que não mostra esses detalhes. Fora isso, tem o problema que eu comentei numa edição de abril: quando a IA faz um bom trabalho, muita gente nem responde a pesquisa, e quem tem mais chance de responder é quem teve motivo pra reclamar.

Não tô dizendo pra jogar a pesquisa fora, obviamente. Seu líder pede essa nota e vai continuar pedindo, a reflexão aqui é sobre como olhar pra ela.

Juntando tudo, os números não tão errados na conta, mas sim na comparação: a IA contra o time, e o time de hoje contra o time de antes da IA. É assim que o seu time parece pior do que é, justamente no momento em que ele assumiu o trabalho mais difícil da casa.

O melhor é que às vezes rola um plot twist (já vi acontecer mais de uma vez): a IA assume os casos recorrentes, o time humano fica só com os complexos, e o tempo médio dele sobe, como esperado. Só que a nota de satisfação sobe junto, porque o atendente que antes corria pra dar conta do volume agora tem tempo de ouvir de verdade o cliente com um problema difícil. Quem olha só o tempo médio conclui que o time piorou, quando na prática ele nunca atendeu tão bem.

Se o seu painel já separa IA e time, você tem metade do caminho andado. O passo seguinte é quebrar cada linha por motivo de contato. É aí que dá pra comparar o tempo do time num motivo com o tempo do mesmo time no mesmo motivo ANTES da IA. Se motivo a motivo o número ficou igual enquanto o geral piorou, o time não piorou: o que mudou foi a mistura de casos que chega nele, porque o caso recorrente, que puxava a média pra baixo, foi todo pra IA. Se o painel ainda nem separa por quem atendeu, começa por aí, que é o mínimo.

Com a operação aberta assim, tem três números que eu colocaria do lado das médias antigas, cada um cobrindo um buraco que elas deixam.

O recontato: é quando o cliente precisa abrir uma conversa nova sobre o mesmo problema. É um sinal que aparece sem o cliente responder pesquisa nenhuma (se ele voltou, é porque continua com o problema), e é o que desmascara a conversa que a IA fechou sem resolver. Repara que a Klarna também anunciou recontato caindo. Só que esse número, somado, também mistura casos diferentes: se a IA resolve bem os recorrentes, o recontato geral cai, mesmo que o cliente com problema complexo esteja voltando mais vezes do que antes. Por isso eu insisto em abrir por motivo antes de olhar qualquer número novo.

A resolução verificada: é o pedido que chegou, o reembolso que caiu, o acesso que voltou, sem o cliente aparecer de novo em sete dias. Só dá pra medir essa quando o agente executa a ação no sistema, porque aí existe log do que foi feito e não só da conversa. O Ian resume isso como "bot responde, agente executa", e na medição a diferença é concreta: o bot que só responde não tem como provar que resolveu. Em abril eu contei aqui que a gente colocou no fluxo a pergunta "seu problema foi resolvido?", e que quando o cliente diz que não a conversa pode ser transferida pro humano com o contexto junto. É o jeito mais simples de começar.

O custo por resolução, não por ticket nem por atendente: soma a conversa que o agente fechou sozinho, a que ele transferiu e a hora do humano que entrou depois. É o único número da lista que não melhora quando a IA só empurra o caso pro time, e é o que o seu CFO entende sem legenda.

Nenhum desses três é padrão de mercado, ninguém vai te cobrar eles num benchmark do setor. É proposta minha, testa aí e me conta.

Já imagino a objeção: a diretoria quer um número só, ninguém vai sentar pra olhar tempo médio quebrado por motivo.

O número feio já tá lá, na linha do time ou escondido na média, e mais cedo ou mais tarde alguém da diretoria olha o tempo médio subindo e tira a conclusão errada sozinho. Abrir por motivo é o que te permite afirmar que o time não piorou, com o dado na mão pra provar. É o mesmo movimento que o James defendeu em outubro, de escrever o contexto do lado do número antes que alguém escreva por você.

A outra objeção é que resolução verificada dá trabalho de medir. Dá mesmo, então começa pelo recontato em sete dias, que dá pra levantar com os dados que o seu helpdesk já tem, e deixa a verificação por ação pros dois motivos de contato de maior volume.

Se eu fosse você, na próxima reunião de resultado eu mostraria o número do time de outro jeito: pegaria os motivos de contato que mais chegam nele e colocaria o tempo e a nota de hoje do lado dos mesmos motivos antes da IA. Se a comparação bater com o que o painel geral diz, beleza, o time piorou mesmo e vale entender por quê. Se não bater, a conversa com a diretoria muda de assunto na mesma hora.

A IA não mexeu só no volume da sua operação, ela mexeu em quem atende o quê. Quem olha os números ignorando isso compara casos diferentes como se fossem os mesmos, e a conclusão que vier disso tá furada.

Responde esse e-mail e me conta qual métrica do seu painel você nunca abriu por motivo. Eu leio as respostas e me amarro em receber.

CXperts é o braço de conteúdo e comunidade da Cloud Humans. Criamos o espaço mais relevante do Brasil para quem acredita que experiência do cliente não é suporte, é estratégia.

O que você encontra no ecossistema CXperts:

1/ CXperts Club: Grupo curado no WhatsApp para líderes reais trocarem entre si — sem buzzword, sem spam. Envie sua aplicação por aqui.

2/ Round Table mensal: Encontro fechado com membros da comunidade para discutir um tema relevante com profundidade.

3/ CXperts Insights: Nossa newsletter semanal com ideias provocativas, benchmarks e reflexões sobre o novo CX.

Feito para quem lidera CX com ambição: nosso foco são c-levels e gestores/heads de Customer Experience em startups e e-commerces em crescimento.

Se você está no front de decisões estratégicas, esse espaço é seu. Junte-se ao CXperts ;)

powered by