Будет ли корректно работать robots.txt?

[Удален]
277

На сайте 80 тысяч проиндексированных страниц.

В коде страницы <meta name="robots" content="index, follow" />. Т.е как я понимаю все разрешено для индексации, в свою очередь существует robots.txt в котором запрещены для индексации дублирующие страницы.

Убрать ли тогда мета-тэг из кода?

moonters
На сайте с 09.10.2008
Offline
139
#1

Мета-тег robots имеет более высокий приоритет, чем директивы в файле robots.txt

Мобильные прокси беру только тут - https://goo.su/G5nhch

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий