Валидатор Robots.txt

Вставьте ваш robots.txt и мгновенно проверьте синтаксис, найдите типичные ошибки и посмотрите, какие боты заблокированы.