Путь к Chaos As A Service: как (и зачем) мы построили платформу для Chaos Engineering

В какой-то момент мы захотели искать Action-item’ы не только в разборах постмортемов, но и во время контролируемых сбоев, которые можно было бы прекратить в любой момент. Так нам потребовался инструмент для проведения Chaos Engineering.

CE — достаточно распространённая практика. Уже существуют развитые OpenSource решения, позволяющие не только ломать всякое, но и проверять метрики доступности, останавливать влияние автоматически и готовить отчёты для постанализа. Казалось бы — бери и пользуйся! Но выяснилось, что эти комбайны плохо натягиваются на крупные инфраструктуры со своими требованиями и платформами.

Расскажу, в какие ограничения упёрлись OpenSource комбайны в нашем случае, вокруг чего мы строили своё решение, какие этапы прошёл написанный на коленке питоний MVP, чтобы переродиться в платформенный сервис, а также про грабли, поджидавшие нас на этом пути.