О Боте Globalfoodrecipesbot

GlobalFoodRecipesBot читает публичные страницы с рецептами с небольшого числа партнёрских и справочных сайтов. Он соблюдает robots.txt (включая Crawl-delay), делает паузы в несколько секунд между запросами, снижает нагрузку по просьбе сервера и никогда не скачивает видео.

Владельцы сайтов могут заблокировать его с помощью User-agent: GlobalFoodRecipesBot в robots.txt или связаться с нами по адресу hello@globalfoodrecipes.com.