robots.txt

В общем нормально, но кое-чего не хватает.

Советую к прочтению пост

спасибо......

В такой интерпритации от директивы Allow не будет никакого толка.

Кроме того, в соответствии со стандартом перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.

Добрый вечер! просто может недопонимаю, но объясните плиз следующее:

если сайт на dle и я создал файл robots.txt, ну как обычно

User-agent: *

Disallow: /autobackup.php

Disallow: /admin.php

...

...

User-agent: Yandex

Disallow:

Host: ********.ru

то почему при проверке анализатором файла robots у яндекса - он показывает что например /admin.php разрешен? не должен ли быть запрещен?

Так раз уж Вы выделили отдельный блок для Яндекса, то продублируйте все указания и в этом блоке. Иначе ведь для Яндекса Вы разрешили всё!

Делаем так:

***deleted***

Вот такая вот заковыка у меня получается :(

Вот в этом роботс.тхт

Яшка индексирует все как положено, отбрасывая тэги и архивы.

А вот гугль почему-то индексирует больше чем яша во много раз и в список тех страниц из индекса попадают тэги и категории, что приводит к дублированию контента.

Вопрос:

"Что у меня не так?" и "Имеет ли право на существование моя версия этого robots.txt для WP?"

Просто Гугл - некрофил, претендующий на роль Веб архива 😂

В панеле вебмастера можно форсировать удаление страниц

а какие последствия отсутствия роботс.тхт вообще на сайте? просто будет бегать по всему? но это же неплохо...

Это роботсофобия, это пройдет 😂