Все вопросы по robots.txt

Избыточный robots.txt

Привожу пример с прекрасной индексацией страниц и записей:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /?p=
Disallow: /?tag=
Disallow: /category/
Host: http://site.ru
Sitemap: http://site.ru/sitemap.xml

Вместо site.ru подставляем свой сайт, разумеется.

Пример robots.txt для wordpress:

User-agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag/

Disallow: /page/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /?p=

Disallow: /?tag=

Disallow: /category/

Host: http://site.ru

Sitemap: http://site.ru/sitemap.xml

Вместо site.ru подставляем свой сайт, разумеется.

Ходит слух что он тупой, и ему нужно все специально указывать))

Уверенности нет, но у серьезных ребят подсмотрел, поэтому на всякий случай))

Должен же быть какой-то смысл ещё. Если боты создают ненужную нагрузку на сайт, а присутствие в поисковых системах/сервисах не требуется, то тогда он есть. Иначе зачем?

А тут все категории закрывают?)

Что по ним никто не двигается? 🍿

А зачем? Ну просто объясните своё видение.

Ну это зависит от тематики в общем-то.

Вот к примеру у меня парочка сайтов по кулинарии. Там приличная частотность по общим запросам.

Если оптимизировать категории и где-то продвигать их, они привлекут на себя приятную часть трафика. Вот в общем-то и всё видение. 🍿

Тем более если ЧПУ по типу site.ru/post.html это исключает дубли.

Как-то так. :)

Конечно так, наверное есть тематики где по 500 постов в категории и по ним хорошо двигать ключи. С другой стороны, никогда категория не победит статью по релевантности запросу.

Если у сайта 100-500 страниц в индексе, ну зачем они, категории?

***

Кулинария шикарная тематика, но wordpress для неё не очень. Получается плохо.

Ну это когда как я думаю.

Если категория с заточенной портянкой и имеет толковые ссылки она может создать хорошую конкуренцию статье. 🍿

**

А что именно не так получается с кулинарией на wordpress?

Был бы рад получить интересную информацию от опытного вебмастера. :)