Наприклад, зменшення кількості гравців, які повертаються, може бути пов’язане з допуском до кампанії, збоєм платежів, доступністю продукту або зміною вимірювання. Сам симптом не визначає причини.
Підтвердьте коректність порівняння
Перевірте визначення показника, знаменник, статус, когорту, валюту та часовий пояс. Переконайтеся, що реліз або зміна відстеження не змінили об’єкт підрахунку. Порівнюйте відповідні періоди й сегменти на однаковій основі.
Простежте вибірку записів до джерела. Однаковий загальний підсумок може приховувати помилки, які компенсують одна одну, а два різні підсумки можуть обидва бути правильними за різних визначень.
Простежте проблемний сценарій
| Повідомлений симптом | Які докази дослідити |
|---|---|
| Менше завершених поповнень | Спроби, відповіді провайдера, допуск облікового запису та звірка |
| Нижча повторна активність | Визначення когорти, доступ до продукту, право отримувати комунікацію та відповідні інциденти |
| Вища вартість бонусів | Правила винагород, кваліфікаційна активність, сторнування та результат, який фінансується |
| Змінений результат sportsbook | Структура ставок, розрахунки, виправлення та рішення щодо ризикових зобов’язань |
| Непояснена розбіжність із постачальником | Ідентифікатори транзакцій, звітний період і політика коригувань |
Обирайте шлях розслідування за фактичною проблемою. Не вважайте кореляцію з кампанією або релізом достатнім доказом того, що саме вони спричинили зміну.
Перетворіть висновки на реєстр перевірюваних дій
Відокремте підтверджені дефекти, обґрунтовані пояснення та гіпотези, які ще потребують тесту. Для кожної дії зазначте докази, очікуваний механізм, відповідального й крок перевірки. Додайте залежності та зусилля, потрібні для виконання.
Визначайте пріоритети за впливом на бізнес і силою доказів. Візуально помітна проблема не обов’язково є причиною найбільших втрат.
Визначте обсяг аудиту
Погодьте системи, період, доступ і виключення до початку роботи. За можливості використовуйте вузьке питання, а потім розширюйте дослідження лише тоді, коли докази вказують на іншу частину сценарію. Якщо головний дефект — визначення звітності, узгодьте результат із BI та звітністю.
Надішліть симптом і звіти, за якими його виявили. Додайте нещодавні зміни та рішення, яке потрібно ухвалити після кращого розуміння причини.