Как качать миллионы фотографий в сутки, выдержать кратный рост и не умереть?

Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.

На таком объёме данных простая на первый взгляд задача «скачай фото по ссылке» обрастает большим количеством проблем:

• Что делать с медленными и нестабильными хостами.
• Как не устроить DDoS-атаку на сервера клиентов.
• Как обеспечить высокую производительность системы и не вызывать негатив у пользователей.

Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год мы выросли в 4 раза и полностью переосмыслили и переработали архитектуру нашей «фотокачалки».

Вместе мы пройдем путь от решения «в лоб» до решения, сумевшего ответить на все эти (и не только) вопросы.