Как мы ВКонтакте ускоряем получение результатов тестов

Когда вы, как ВКонтакте, боретесь за time-to-market и возможность максимально быстро запускать эксперименты и вносить изменения, ежечасные релизы кажутся обыденностью и счёт идет на минуты. В тестировании это означает, что чем раньше мы узнаем, что упали автотесты, тем больше времени будет на разбор и тем чаще мы сможем релизить код.

В этом докладе расскажу, как и с помощью каких инструментов и подходов мы научились получать максимально оперативный результат, в случае, если в коде есть проблемы. Чтобы заинтриговать дорогих слушателей, приоткрою, что мы используем: ML, маппинг автотестов на код, плагины для TeamCity, а так же кастомные надстройки на TestNg. Рассмотрим процесс на примере ВКонтакте, но наш опыт будет применим для любых релизов, особенно для ночных или любых других длительных прогонов.