Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
На таком объёме данных простая на первый взгляд задача «скачай фото по ссылке» обрастает большим количеством проблем:
- Что делать с медленными и нестабильными хостами.
- Как не устроить DDoS-атаку на сервера клиентов.
- Как обеспечить высокую производительность системы и не вызывать негатив у пользователей.
Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год мы выросли в 4 раза и полностью переосмыслили и переработали архитектуру нашей «фотокачалки».
Вместе мы пройдем путь от решения «в лоб» до решения, сумевшего ответить на все эти (и не только) вопросы.
