Проиндексировано, несмотря на блокировку в файле robots.txt

Виктор Петров
На сайте с 05.01.2020
Offline
240
#1

Метатегом robots закрывать. Гугл может игнорировать директивы файла robots.txt по пачке причин.

NP
На сайте с 02.05.2019
Offline
18
#2
petrov-I:
Метатегом robots закрывать. Гугл может игнорировать директивы файла robots.txt по пачке причин.

В том то и дело, там стоит header ("X-Robots-Tag: noindex,nofollow").

Виктор Петров
На сайте с 05.01.2020
Offline
240
#3
Nedviga-pro:
В том то и дело, там стоит header ("X-Robots-Tag: noindex,nofollow").

Во-первых, в robots.txt - косяки: пробелы лишние. Их надо убирать, они в общем-то важны.

Во-вторых, тут для Гугла надо отдельный список директив прописывать. Сканирование вот этого /*?*ajax=* разрешить, а вот индексацию через мета robots - запретить.

Должно сработать.

[Удален]
#4

Nedviga-pro, наличие внешней ссылки на данный url и любые запреты будут проигнорированы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий