проверка на запрет индексации robots.txt

A
На сайте с 15.01.2014
Offline
49
1073

Вопрос, есть 100 сайтов, мне нузно их проверить быстро, открыт ли сайт для индексации или в роботсе стоит запрет, на робота яндекс.

какую программу посоветете?

в allsubmittere нельзя никак проверить?

или в зеннопостере?

Продаю программу для Арбитража криптовалюты. () Anonyk@mail.ru
Pavel Medvedev
На сайте с 27.01.2006
Offline
166
#1
Anonyk:
какую программу посоветете?
в allsubmittere нельзя никак проверить?
или в зеннопостере?

Можно в allsubmitter или screaming frog забить список robots.txt и там искать строки, запрещающие индексацию всего сайта. Правда без регулярки, не знаю, получится ли.

Консультирую по SEO. Опыт c 2005: окна топ1,Ашан,Фишки,Спортс и др. Пишите в FB.
A
На сайте с 15.01.2014
Offline
49
#2

Подскажите пожалуйста как в allsubmittere это провернуть, тыкал тыкал так и не разобрался как мозно роботс проверить пошустрому, если мозно как для чайника инструкцию, буду оченб признателен

DD
На сайте с 18.04.2010
Offline
41
#3

Присоединюсь к Anonyk, только что потыкал - с ходу не разобрался.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий