Как работает механизм
Пропущенная подходящая компания и лишний контакт с неподходящей компанией имеют разные последствия. Поэтому общая точность малоинформативна без состава классов и цены ошибок. Полезно сравнивать модель с простым правилом и проверять доступность признаков на момент решения.
Условный пример
Отдел продаж может качественно обработать ограниченное число компаний. Модель ранжирует обращения, а команда измеряет долю подходящих среди выбранных и долю пропущенных. Порог пересматривают вместе с доступной мощностью и результатом контакта.
Как применить на практике
- Определите действие после получения оценки
- Согласуйте стоимость двух типов ошибок
- Проверьте качество на данных, недоступных при настройке
- Выберите порог с учётом мощности и наблюдайте последствия
Соберите набор примеров из целевого процесса и зафиксируйте правила оценки. Разделяйте обучение, настройку и финальную проверку. Сравнивайте систему с простым исходным решением и отслеживайте качество после внедрения.
Что измерять и как читать результат
Точность отбора; полнота; число пропущенных подходящих компаний; коммерческий эффект.
Выбор порога связывают с ценой ошибок и мощностью продаж. Пропущенный подходящий клиент и лишняя обработка слабого обращения имеют разные последствия. Проверяйте модель на данных, близких к будущим условиям использования.
На стыке каких областей находится тема
Информатика → данные и машинное обучение → маркетинговые решения и процессы.
Разработка обеспечивает работу модели и инфраструктуры. Маркетинг определяет полезную задачу, критерии результата и допустимые действия. Автоматизация нуждается в проверке качества, наблюдаемости и понятной передаче сложных случаев человеку.
Результат совместной работы
Работающий процесс с журналом решений, оценкой качества и измеримым эффектом для клиента или команды.
Участники работы: маркетолог, аналитик и разработчик.