Мобильные ТелеСистемы (МТС) (Цифровая Траектория: Action Track (ATC))

2021: МТС внедрила мониторинг сервиса чат-бот «Смарти»

Компания МТС развивает автоматизированные сервисы обслуживания абонентов с целью сокращения штата сотрудников колл-центров по всей стране. Один из таких умных сервисов - чат-бот «Смарти».

В рамках акселератора MTS Startup HUB в 2020 году департамент развития клиентского сервиса МТС обозначил проблему низких показателей удовлетворенности клиентов и решаемости обращений сервисом чат-бот, а частые сбои в интеграции с внешними сервисами приводили к дополнительной нагрузке на операторов колл-центров.

Команда Цифровая Траектория (ex Weigandt Consulting) предложила использовать продукт Action Track (АТС) с целью мониторинга сервиса чат-бот, его интеграций с внешними системами и контроля обработки каждого обращения абонента. В рамках пилота продукт АТС начал обрабатывать логи работы сервиса, был сформирован дашборд метрик эффективности чат-бота. Пилот был признан успешным, и c конца 2020 года начался проект полноценного внедрения.

Action Track был развернут в контуре МТС и интегрирован с системой хранения логов Graylog. ATC начал обрабатывать логи работы чат-бота в режиме реального времени без маскирования пользовательских данных, что было необходимо в рамках пилота.

Объектами контроля для мониторинга являются сессии взаимодействия чат-бота и пользователей. Обрабатывая до 4х млн событий в сутки, АТС начала выявлять случаи, когда бот не ответил клиенту, ошибки в интеграциях с внешними системами, долгое отсутствие запросов от пользователей. Для контроля работы сервиса были определены метрики и пороги срабатывания и создания инцидентов на группы ИТ.

С целью анализа эффективности сценариев чат-бота по обработке запросов абонентов были сформированы отчеты и дашборды, позволяющие определить, как сценарий влияет на бизнес-метрики. АТС также позволил оценить влияние ИТ-ошибок на ключевые метрики: переводы на оператора, решаемость и NPS.Чекап для искусственного интеллекта: зачем и как тестировать ИИ-решения?

В результате тонких настроек реагирования мониторинга АТС на ошибки и перебои в работе чат-бота стало возможным решать критические инциденты в 3 раза быстрее. Бизнес-анализ сценариев работы бота и корреляция между ошибками и бизнес-метриками позволили команде развития бота выявить Топ10 сценариев для доработки и Топ5 сервисов, которые сильнее всего сбоят и влияют на бизнес-показатели.

По итогу 6 месяцев промышленной эксплуатации мониторинга АТС метрика удовлетворенности сервисом чат-бот tNPS выросла на 14%, а количество переводов на колл-центр со стороны чат-бота снизилось на 6 процентных пунктов.