Если мета-тега нет, то ждать. Ну, и выпить.
У меня такой открывается: http://extruziv.ru/robots.txt
Веб, у него чпу на сайте как бы. Да и роботс другой на сайте.
serdget, спугнёте же.
По делу? У человека была проблема с мета-тегом, а два школьника нелепо докопались до её роботса.)
Ты стартпост хоть читал?
И как всё-таки /page/ запрещает индексировать статьи и категории? Ответ с примерами будет? :D
legovih, слился что ли? Обоснование бреда будет?
Такого рода советчиков из раздела апдейтов нельзя выпускать...
Слив что ли? ))) Ожидаемо. Читай сам материал по этой ссылке раз 10 и вникай в суть.
Давай, конкретно какие страницы закрывала эта директива (/page/) на сайте ТС? Приведи пример хотя бы. И как это влияло на индексацию всего сайта?
Так сначала свой бред с /page/ обоснуй. :)
И что было понятно? В чём была проблема? Что она запрещала?
Вы на сайт хоть заходили?
Что же делать то?))
Если мета-тега нет, то ждать. Ну, и выпить.
как другой? я вроде копировал именно оттуда?
У меня такой открывается: http://extruziv.ru/robots.txt
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: extruziv.ru
Sitemap: http://extruziv.ru/sitemap.xml
Sitemap: http://extruziv.ru/sitemap.xml.gz
А именно такие урлы создаёт Wordpress.
Веб, у него чпу на сайте как бы. Да и роботс другой на сайте.
serdget, спугнёте же.
kimberlit Лучше бы по делу что-нибудь сказал, вместо того, чтобы
в чужом топике гадить. Или не похмелился?
По делу? У человека была проблема с мета-тегом, а два школьника нелепо докопались до её роботса.)
Ты стартпост хоть читал?
И как всё-таки /page/ запрещает индексировать статьи и категории? Ответ с примерами будет? :D
legovih, слился что ли? Обоснование бреда будет?
Такого рода советчиков из раздела апдейтов нельзя выпускать...
http://help.yandex.ru/webmaster/?id=996567
Слив что ли? ))) Ожидаемо. Читай сам материал по этой ссылке раз 10 и вникай в суть.
Давай, конкретно какие страницы закрывала эта директива (/page/) на сайте ТС? Приведи пример хотя бы. И как это влияло на индексацию всего сайта?
Обоснуйте
Так сначала свой бред с /page/ обоснуй. :)
Заходил, уже лишняя строка убрана. А вообще и без захода все понятно было.
И что было понятно? В чём была проблема? Что она запрещала?
Кажется Disallow: /page/ тут лишнее.
Однозначно, что вот этим Disallow: /page/,
Вы сами запретили роботу лазить по страницам
Вы на сайт хоть заходили?