Форум Поисковые системы Google

перемудрил с robots

S4
На сайте с 26.05.2010
Offline
103
saran4a
1139

Привет всем. Сегодня в индексе гугла у моего сайта осталось 130 страниц, вчера было 650, которы висели там на протяжении 40 дней. А позавчера был переделан роботс, думаю что из-за него и осталось столько страниц.

На данный момент он такой:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /*feed
Disallow: /comments
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /?*
Disallow: /category/
Disallow: /tag/
Disallow: /?s=
Disallow: /page/
Sitemap: sitemap.xml

Как думаете из-за этого выпали страницы?

terranodar
На сайте с 07.01.2011
Offline
5
terranodar
#1

А Вы сами проверьте.

В Яндекс панельке http://webmaster.yandex.ru - Настройка индексирования -> Анализ robots.txt

Добавьте свои выпавшие страницы в список прямо под правилами robots.txt (выпадает, если нажать на ссылку "Список URL добавить")

Аналогично и в Google https://www.google.com/webmasters/tools/crawl-access?hl=en&siteUrl=<адрес Вашего сайта>

Если напишут, что заблокировано в robots.txt - значит действительно перемудрили.

Сервис http://tic-history.ru (http://tic-history.ru) - история изменения ТИЦ сайтов.
S4
На сайте с 26.05.2010
Offline
103
saran4a
#2
terranodar:
А Вы сами проверьте.
В Яндекс панельке http://webmaster.yandex.ru - Настройка индексирования -> Анализ robots.txt
Добавьте свои выпавшие страницы в список прямо под правилами robots.txt (выпадает, если нажать на ссылку "Список URL добавить")

Аналогично и в Google https://www.google.com/webmasters/tools/crawl-access?hl=en&siteUrl=<адрес Вашего сайта>

Если напишут, что заблокировано в robots.txt - значит действительно перемудрили.

Спасибо! Проверил: блокирует то что и должно впринципе. Записи разрешены... Может глюкануло, попробую подождать

terranodar
На сайте с 07.01.2011
Offline
5
terranodar
#3

saran4a, На здоровье. Попробуйте подождать и поискать на этом форуме темы про выпадение страниц из индекса (их тут много).

enivid
На сайте с 26.05.2007
Offline
76
enivid
#4

В Google Webmaster Tools он выдает отдельным списком страницы, блокированные по robots.txt. Если там нет того, что вы ожидаете увидеть в индексе, значит проблема не в роботсе.

[Удален]
#5
saran4a:

Как думаете из-за этого выпали страницы?

Думаю нет.

Читайте всю ветку внимательно /ru/forum/607080

Весь рунет срезало! И именно в google

S4
На сайте с 26.05.2010
Offline
103
saran4a
#6

Все вернулось! Даже прибавилось теперь 700 страниц.

[Удален]
#7
saran4a:
Все вернулось! Даже прибавилось теперь 700 страниц.

везуха☝

B
На сайте с 28.10.2008
Offline
39
bizcom
#8

У ТС в роботсе неправильно прописан путь к сайтмепу

правильно будет так:

Sitemap: http://site.ru/sitemap.xml

Подкоректируй, может еще больше будет)

lekoleko
На сайте с 22.11.2006
Offline
118
lekoleko
#9

А вот это:

Disallow: /*?

Disallow: /*?*

Не заменяет ли это:

Disallow: /?s=

?

S4
На сайте с 26.05.2010
Offline
103
saran4a
#10
bizcom:
У ТС в роботсе неправильно прописан путь к сайтмепу

правильно будет так:
Sitemap: http://site.ru/sitemap.xml

Подкоректируй, может еще больше будет)

Я удалил просто свой сайт )) у меня там как ты написал...

saran4a добавил 01.03.2011 в 10:38

lekoleko:
А вот это:

Disallow: /*?
Disallow: /*?*

Не заменяет ли это:

Disallow: /?s=

?

Точно незнаю, я роботс тут копировал на форуме, но на практике помоему они закрывают постраничную навигацию на хтмл карте сайта.

saran4a добавил 01.03.2011 в 10:39

Кстати снова 130 страниц...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий