Connect with us

Новости

Разработка мобильных приложений: новости и статьи — 31.03

Опубликовано

/

     
     

ИИ-краулеры — это тараканы интернета, считают многие разработчики программного обеспечения. Хотя любой сайт может стать мишенью для веб-краулеров, что иногда может привести к его падению из-за нагрузки, разработчики открытого кода «непропорционально» страдают от ИИ-краулеров. Проблема в том, что многие ИИ-боты не соблюдают Robots Exclusion Protocol и robot.txt. В январе разработчик FOSS описал, как AmazonBot без устали парсил Git-сервер, вызывая DDoS. Блокировать ИИ-краулеров бесполезно, потому что они лгут, меняют свой user agent, используют живые IP-адреса в качестве прокси и т.д. Они будут парсить ваш сайт, пока он не упадет, а потом будут обращаться к нему снова и снова. По словам одного из разработчиков, «даже приходится прибегать к запрету целых стран», чтобы отбиться от ИИ-ботов. В ответ на это создали инструмент под названием Anubis. Anubis — это обратный прокси-сервер, который надо пройти, прежде чем запросы попадут на Git-сервер. Он блокирует ботов, но пропускает браузеры, управляемые людьми. Cloudflare предложил бесконечный лабиринт из поддельного контента, куда заманивают незваных ботов. Он предназначен для того, чтобы “замедлять, запутывать и тратить впустую ресурсы AI краулеров и других ботов, которые не соблюдают директивы”.

Разработка

Маркетинг и аналитика

Кроссплатформа

iOS

Android

← Предыдущий выпуск

Если вы нашли опечатку - выделите ее и нажмите Ctrl + Enter! Для связи с нами вы можете использовать info@apptractor.ru.
Telegram

Популярное

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: