Управление инцидентами - схемы
Узнайте больше о оперативном совершенстве → Управление инцидентами
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Мониторинг | ✅ Архитектура предупреждений содержит классификацию серьезности, перенаправляющую критические инциденты (производственная недоступность, повреждение данных, нарушение безопасности) на страницу по вызову немедленно |
| Платформа | Мониторинг | ✅ Серьезные инциденты (снижение производительности, частичное отключение) создают немедленные уведомления для оперативного расследования часов работы |
| Платформа | Мониторинг | ✅ Предупреждения (приближение к пороговым значениям, отклонение конфигурации) агрегируются в ежедневную рассылку для проактивного исправления |
| Платформа | Мониторинг | ✅ Обогащение предупреждения включает диагностический контекст: количество задействованных пользователей, процентили уровня ошибок, недавние развертывания, связанные предупреждения и прямые ссылки на панели мониторинга |
| Платформа | Мониторинг | ✅ Контекст предупреждения сокращает среднее время для подтверждения, предоставляя немедленную оценку ситуации без сбора базовой информации посредством отдельных запросов |
| Платформа | Мониторинг | ✅ Группировка предупреждений предотвращает бури предупреждений, объединяя сотни связанных предупреждений из одной основной проблемы в одно уведомление с агрегированной статистикой |
| Платформа | Мониторинг | ✅ Сгруппированные предупреждения отображают количество, уровень и задействованные транзакции, отображающие схему проблемы без подавляющего количества респондентов |
| Платформа | Мониторинг | ✅ Подавление предупреждения предотвращает создание предупреждений известными переходными условиями во время ожидаемых окон обслуживания или периодов автоматического восстановления |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Мониторинг | ⚠️ Сбой интеграции создает индивидуальные предупреждения 100s за 5 минут, подавляющие дежурный телефон, каждое предупреждение идентично, за исключением отметки времени |
| Платформа | Мониторинг | ⚠️ Предупреждения не содержат контекста об области, недавних изменениях или схемах проблем; инженер по вызову должен собрать основные сведения вручную |
| Платформа | Мониторинг | ⚠️ Все предупреждения перенаправляются по одному каналу вне зависимости от серьезности; критические сбои производства конкурируют с незначительными предупреждениями |
| Платформа | Мониторинг | ⚠️ Предупреждения о пожаре во время плановых окон техобслуживания, генерирующих ложные срабатывания, которые подрывают Trust к системе мониторинга |
| Платформа | Мониторинг | ⚠️ Группировка предупреждений не существует; каждый сбой транзакции запускает отдельное предупреждение, создающее штормы предупреждения во время инцидентов |
| Платформа | Мониторинг | ⚠️ Предупреждения не предоставляют ссылок на соответствующие панели мониторинга; ответственные тратят время на поиск инструментов мониторинга во время реагирования на инциденты |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Операции | ✅ Ротация по вызову - это распределение нагрузки еженедельно или раз в две недели с учетом сохранения контекста |
| Платформа | Операции | ✅ Руководства документируются для каждого типа предупреждений, что позволяет инженерам по вызовам эффективно реагировать без глубокого опыта домена |
| Платформа | Операции | ✅ Справочники содержат описание проблемы, этапы диагностики, процедуры исправления, критерии расширения и связанные ссылки на документацию |
| Платформа | Операции | ✅ Рунные книги - это живые документы в управлении версиями, которые развиваются посредством элементов посмертных действий |
| Платформа | Операции | ✅ Процедуры передачи включают краткие встречи во время перехода на ротацию, перенося контекст, включая активные проблемы, недавние изменения, известные риски и предстоящее обслуживание |
| Платформа | Операции | ✅ Письменные примечания к раздаче дополняют вербальную раздачу, предотвращая потерю информации при переходах ротации |
| Платформа | Операции | ✅ Частота страниц, количество инцидентов в нерабочее время и коэффициент ложно положительных результатов измеряются для определения неподъемной нагрузки по вызову, требующей архитектурного исправления |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Операции | ⚠️ Рунбуков не существует; инженеры по вызовам полагаются на Tribal Knowledge и частые расширения к профильным специалистам |
| Платформа | Операции | ⚠️ Рунные книги хранятся в личных документах, а не в общедоступных элементах управления версиями, где участники рабочей группы могут их открывать и обновлять |
| Платформа | Операции | ⚠️ Переходы к ротации по вызову происходят без встреч передачи; приходящий инженер не имеет контекста активных проблем и недавних изменений |
| Платформа | Операции | ⚠️ Высокая нагрузка по вызову сохраняется бесконечно благодаря оперативной героике, а не стимулированию архитектурных улучшений |
| Платформа | Операции | ⚠️ Показатели по вызовам (частота страниц, инциденты внеурочного времени, ложные положительные результаты) не отслеживаются; схемы нагрузки остаются невидимыми |
| Платформа | Операции | ⚠️ Рунные книги создаются один раз во время первичного развертывания и никогда не обновляются по мере развития системы или появления новых режимов сбоев |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Операции | ✅ Пути технического расширения определяют, какие профильные специалисты обрабатывают конкретные проблемные домены |
| Платформа | Операции | ✅ Пути расширения управления определяют, какие руководители получают уведомления об инцидентах, превышающих пороговые значения серьезности или продолжительности |
| Платформа | Операции | ✅ Пути расширения поставщиков документируют процедуры создания обращений поддержки Salesforce и критерии серьезности |
| Платформа | Операции | ✅ Пути расширения полномочий руководителей определяют, какие руководители получают уведомления о важных для бизнеса инцидентах |
| Платформа | Операции | ✅ Критерии расширения четкие и объективные: уровни серьезности, пороги времени, количество задействованных пользователей, оценки влияния на бизнес |
| Платформа | Операции | ✅ Пути расширения документируются в рунетах и доступны во время инцидентов без поиска контактных данных |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Операции | ⚠️ Пути эскалации не задокументированы; дежурные инженеры тратят время на поиск соответствующих контактов во время инцидентов |
| Платформа | Операции | ⚠️ Критерии эскалации расплывчаты («расти, если покажется плохим»); у респондентов отсутствуют четкие рекомендации по поводу того, когда следует расширять |
| Платформа | Операции | ⚠️ Уведомление руководства происходит слишком поздно, поскольку пороги серьезности не определены; руководители узнают об инцидентах от пользователей |
| Платформа | Операции | ⚠️ Процедуры расширения поддержки Salesforce не задокументированы; рабочие группы задерживают открытие обращений в службу поддержки, теряя ценное время ответа |
| Платформа | Операции | ⚠️ Контакты профильных экспертов устарели; эскалации достигают не тех людей или дают сбой во время смены |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Операции | ✅ Безупречные проверки пост-инцидентов проводятся в течение 5 рабочих дней после важных оперативных событий |
| Платформа | Операции | ✅ Безупречная культура фокусируется на усовершенствованиях системы, а не на вине отдельного лица, создавая психологическую безопасность для честной оценки |
| Платформа | Операции | ✅ Временная шкала содержит подробную последовательность от начальных условий до первого сигнала, обнаружения, подтверждения, расследования, ответа, восстановления и проверки |
| Платформа | Операции | ✅ Временные отметки каждого события, включающие анализ продолжительности этапов обнаружения, реагирования и восстановления |
| Платформа | Операции | ✅ Первопричина определяет технический сбой или состояние, непосредственно вызвавшее инцидент, отличающийся от способствующих факторов |
| Платформа | Операции | ✅ Анализ влияющих факторов выявляет организационные, процессные или архитектурные условия, которые позволили или усилили влияние инцидента |
| Платформа | Операции | ✅ Анализ обнаружения оценивает способ обнаружения инцидента и возможность более быстрого обнаружения |
| Платформа | Операции | ✅ Оценка ответа определяет, что прошло хорошо во время ответа, а что медленнее или труднее, чем необходимо |
| Платформа | Операции | ✅ Элементы действий являются конкретными, назначенными и привязанными к срокам, предотвращающими повторение или улучшающими будущие ответные меры |
| Платформа | Операции | ✅ Элементы действий избегают неясных улучшений (“улучшить мониторинг”) в пользу конкретных задач (“добавить предупреждение для уровня ошибок API, превышающего 5% в течение 10 минут”) |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Операции | ⚠️ Обсуждение после инцидента приходит к выводу “в пакетном задании была ошибка, мы ее исправили” без документации и систематических улучшений |
| Платформа | Операции | ⚠️ Обзоры после инцидента сосредоточены на индивидуальной ошибке, а не на усовершенствованиях системы, разрушая психологическую безопасность |
| Платформа | Операции | ⚠️ В временной шкале отсутствуют временные отметки, препятствующие анализу продолжительности; рабочая группа не может определить, было ли обнаружение или реакция медленной |
| Платформа | Операции | ⚠️ Анализ коренных причин не позволяет отличить непосредственную техническую причину от организационных факторов или факторов, способствующих процессу |
| Платформа | Операции | ⚠️ Анализ обнаружения пропускается; пробелы в мониторинге, позволившие пользователям сообщить об инциденте первыми, не определяются |
| Платформа | Операции | ⚠️ Элементы действий туманны без ответственных или крайних сроков; улучшения обсуждаются, но так и не внедрены |
| Платформа | Операции | ⚠️ Проверка после инцидента не проводится в течение 5 рабочих дней; контекст теряется, и срочность улучшений спадает |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Управление Knowledge | ✅ Документирование и общий доступ к материалам после инцидентов, выходящим за рамки непосредственного реагирования на инциденты, в целях организационного обучения |
| Платформа | Управление Knowledge | ✅ Обзоры постинцидентов хранятся в общедоступной вики-версии или базе Knowledge с присвоением тегов, поддерживающих анализ схемы в нескольких инцидентах |
| Платформа | Управление Knowledge | ✅ Заполнение элемента действия отслеживается в последующих обзорах, предотвращающих превращение ретроспектив в повторные обсуждения без последующей доработки |
| Платформа | Управление Knowledge | ✅ Коэффициенты выполнения элементов действия оцениваются как операционный индикатор состояния, определяющий, внедрены ли улучшения или просто обсуждаются ли |
| Платформа | Операции | ✅ Схемы инцидентов анализируются в нескольких инцидентах, выявляющих системные проблемы, требующие архитектурных вложений |
| Платформа | Операции | ✅ Руководства обновляются на основе обучения после инцидента, обеспечивая отражение процедур фактического взаимодействия реагирования на инциденты |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Управление Knowledge | ⚠️ Проверка после инцидента не задокументирована; обучение остается у специалистов по реагированию на инциденты, а не распространяется в организации |
| Платформа | Управление Knowledge | ⚠️ Обзоры пост-инцидентов хранятся в личных документах, а не в общедоступной базе Knowledge, где участники рабочей группы могут узнать историю |
| Платформа | Управление Knowledge | ⚠️ Элементы действий определены, но не отслеживаются; уровень выполнения неизвестен и улучшения не внедрены |
| Платформа | Управление Knowledge | ⚠️ Низкий уровень выполнения элемента действия сохраняется без признания неэффективности ретроспектив без выполнения |
| Платформа | Операции | ⚠️ схемы инцидентов не анализируются в нескольких инцидентах; системные проблемы остаются скрытыми, поскольку каждый инцидент обрабатывается изолированно |
| Платформа | Операции | ⚠️ Руководства не обновляются после инцидентов; процедуры устаревают по мере развития системы и появления новых режимов сбоев |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Операции | ✅ Среднее время обнаружения (MTTD) отслеживается, измеряя продолжительность от появления инцидента до обнаружения |
| Платформа | Операции | ✅ Среднее время подтверждения (MTTA) отслеживается продолжительность измерения от обнаружения до подтверждения инженера по вызову |
| Платформа | Операции | ✅ Среднее время восстановления (MTTR) отслеживается продолжительность измерения от обнаружения до восстановления обслуживания |
| Платформа | Операции | ✅ Частота инцидентов отслеживается с помощью ежемесячного обзора тенденций, выявляющего, улучшается или ухудшается стабильность |
| Платформа | Операции | ✅ Уровень сбоев изменений отслеживается, измеряя процент развертываний, вызывающих производственные инциденты, требующие исправления |
| Платформа | Операции | ✅ Уровень сбоев изменений поддерживается на стабильно низком уровне, что составляет небольшую часть всех развертываний |
| Платформа | Операции | ✅ Показатели инцидентов предоставляются в общий доступ группам разработчиков во время планирования спринта, информируя о приоритетности накопившихся вопросов и улучшениях архитектуры |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Операции | ⚠️ Показатели инцидентов не отслеживаются; рабочая группа не может определить, улучшается или ухудшается время ответа |
| Платформа | Операции | ⚠️ MTTD, MTTA и MTTR не измеряются; рабочие группы не могут определить, является ли обнаружение или реакция узким местом |
| Платформа | Операции | ⚠️ Уровень сбоев изменений не отслеживается; рабочая группа не знает, эффективны ли качественные ворота |
| Платформа | Операции | ⚠️ Тенденции частоты инцидентов не пересматриваются ежемесячно; ухудшение стабильности не обнаруживается до возникновения крупного инцидента |
| Платформа | Операции | ⚠️ Показатели инцидентов остаются в операционной группе без предоставления общего доступа группам разработчиков; архитектурные проблемы не решаются |
| Платформа | Операции | ⚠️ Показатели отслеживаются, но никогда не используются для принятия обоснованных решений; измерение без действий тратит усилия и не предоставляет значения |