Uma queda no retorno dos jogadores, por exemplo, pode envolver elegibilidade de campanhas, falhas de pagamento, disponibilidade do produto ou mudanças na medição. O sintoma, por si só, não identifica a causa.
Confirme se a comparação é válida
Verifique a definição da métrica, o denominador, o estado, a coorte, a moeda e o fuso horário. Confirme se uma nova versão ou mudança no rastreamento não alterou o que está sendo contado. Compare os períodos e segmentos pertinentes com a mesma base.
Rastreie uma amostra de registros até a fonte. Um total geral que coincide pode ocultar erros que se compensam, enquanto dois totais diferentes podem estar corretos sob definições distintas.
Acompanhe a jornada afetada
| Sintoma relatado | Evidências a investigar |
|---|---|
| Menos depósitos concluídos | Tentativas, respostas dos provedores, elegibilidade das contas e conciliação |
| Menor atividade recorrente | Definição da coorte, acesso ao produto, elegibilidade para comunicação e incidentes pertinentes |
| Maior custo de bônus | Regras de concessão, atividade elegível, estornos e o resultado que se pretende obter com o gasto |
| Mudança no resultado das apostas esportivas | Composição das apostas, liquidações, correções e decisões de exposição |
| Divergência com fornecedor sem explicação | Identificadores de transações, período do relatório e política de ajustes |
Escolha o caminho da investigação a partir do problema real. Não trate a correlação com uma campanha ou versão como prova suficiente de que ela causou a mudança.
Transforme as constatações em um registro de ações verificáveis
Separe defeitos confirmados, explicações sustentadas por evidências e hipóteses que ainda exigem teste. Para cada ação, indique as evidências, o mecanismo esperado, o responsável e a etapa de verificação. Inclua as dependências e o esforço necessários para executá-la.
Priorize pelo efeito sobre o negócio e pela força das evidências. Um problema visualmente destacado não é necessariamente a causa da maior perda.
Defina o escopo da auditoria
Acerte os sistemas, o período, os acessos e as exclusões antes do início do trabalho. Use uma pergunta delimitada quando possível e amplie a investigação apenas se as evidências apontarem para outra parte da jornada. Se as definições dos relatórios forem o principal defeito, coordene o resultado com BI e relatórios.
Envie o sintoma e os relatórios usados para identificá-lo. Inclua as mudanças recentes e a decisão que precisa tomar depois de compreender melhor a causa.