Массово проверить страницы в robots.txt

113

Mick_20

7 июня 2016, 08:11

451

Здравствуйте,

Как массово проверить, что страницы не закрыта в robots.txt?

Необходимо просмотреть много доноров ссылок.

Хостинг с PHP от 40 руб/месяц >>> (http://hostline.ru/?from=74884)

113

Mick_20

8 июня 2016, 13:21

#1

есть варианты?

56

obius

8 июня 2016, 17:50

#2

Разжуйте, ибо сбивает с толку

страницы не закрыта

А так, под задачу "массово" подходит решение скриптов, и тогда вам нужен форум другой направленности.

L

34

levchernenko

8 июня 2016, 19:55

#3

...

24

ex machina

8 июня 2016, 21:51

#4

Через Netpeak Spider прогоните. Там показывается, закрыта страница для индексации или нет.

1

https://pingoblog.ru/ (https://pingoblog.ru/)

113

Mick_20

9 июня 2016, 07:42

#5

levchernenko:
https://webmaster.yandex.ru/robots.xml ?

все равно долго.

ex machina:
Через Netpeak Spider прогоните. Там показывается, закрыта страница для индексации или нет.

спасибо попробую.