После редактирования robots.txt сайт вылетел с индекса

12
S
На сайте с 06.10.2010
Offline
57
1493

После запрета дублей в robots.txt сайт вылетел с индекса, до этого два года индексировался (индекс 4000) проблем не было. Фильтр или что то другое?

A
На сайте с 15.09.2006
Offline
97
Alk
#1

А как дубли закрыты?

Disallow: /

S
На сайте с 06.10.2010
Offline
57
#2

User-agent: Yandex

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /date/

Disallow: /feed/

Disallow: */trackback/

Disallow: */feed/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Disallow: /tag/*/feed/

Disallow: /forum/?forum=

A
На сайте с 15.09.2006
Offline
97
Alk
#3

а в других поисковиках что? вылетел вообще?

S
На сайте с 06.10.2010
Offline
57
#4
Alk:
а в других поисковиках что? вылетел вообще?

С, другими все как и прежде, а вот с Яндексом проблемы осталось 2 страницы, даже без морды

A
На сайте с 15.09.2006
Offline
97
Alk
#5

попробуй в роботсе первую строчку

User-agent: *

если вылетит из всех остальных - значит, структуру закрыл

S
На сайте с 06.10.2010
Offline
57
#6
Alk:
попробуй в роботсе первую строчку
User-agent: *
если вылетит из всех остальных - значит, структуру закрыл

У меня это прописано в robots.txt в самом начале для других роботов,

User-agent: Unknown robot

Disallow: /

User-agent: *

Disallow: /bot-trap/

Disallow: /cgi-bin/

.........

Да и в ВМ загружено 11582, из них исключено роботом 6778 это то, что я закрыл

Shessmaster
На сайте с 15.10.2007
Offline
240
#7

sanekua,

Для решения проблем с индексацией убираете из файла robots.txt правила:

Disallow: /*?*

Disallow: /*?

albion
На сайте с 07.10.2005
Offline
247
#8
sanekua:
Disallow: */trackback/
Disallow: */feed/

почему то мне кажется, что здесь ошибка ;)

S
На сайте с 06.10.2010
Offline
57
#9
Shessmaster:
sanekua,

Для решения проблем с индексацией убираете из файла robots.txt правила:
Disallow: /*?*
Disallow: /*?

Не могли бы мне объяснить почему это влияет на индексацию.

Спасибо.

Shapranov Pavel
На сайте с 27.08.2007
Offline
304
#10
albion:
почему то мне кажется, что здесь ошибка ;)

Может и ошибка, но закрытие трекбеков и RSS ленты не могло повлиять на выпадение сайта.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий