Форум Поисковые системы Google

Google перестал индексировать

R
На сайте с 02.03.2005
Offline
3
Ruben
498

Вот мой сайт: www.eruben.info , с некоторых пор Google перестал его индексировать. В чем проблема? Можете подсказать? Вот мой robots.txt: 


User-agent: *

Disallow:



User-agent:Mediapartners-Google*

Disallow:



User-agent: Yandex

Disallow:
www.eruben.info
[Удален]
#1
Как писал Ruben
Вот мой сайт: www.eruben.info , с некоторых пор Google перестал его индексировать. В чем проблема? Можете подсказать? Вот мой robots.txt: 

User-agent: *

Disallow:



User-agent:Mediapartners-Google*

Disallow:



User-agent: Yandex

Disallow:

А почему просто не написать:

User-agent: *

Disallow: *

то есть всем разрешить всё индексировать?

R
На сайте с 02.03.2005
Offline
3
Ruben
#2

User-agent: *
Disallow: *

Это значит НЕ индексировать ничего.

Но дело не в этом я думаю.

[Удален]
#3

User-agent: *

Disallow: *

Как писал Ruben

Это значит НЕ индексировать ничего.
Но дело не в этом я думаю.

запрещена индексация директорий, начинающихся с символа * правила robots.txt на Яндексе . А так самому немного беспокойно было помещать такой роботс. Но надо, эксперименты требуют жертв. 😂

R
На сайте с 02.03.2005
Offline
3
Ruben
#4

Ну да, точно. А нельзя просто оставить Disallow: не ставя никаких * .

[Удален]
#5
Как писал Ruben
Ну да, точно. А нельзя просто оставить Disallow: не ставя никаких * .

Можно, но у меня ниже хост идет, страшно, вдруг индексировать не будет :)

User-agent: *

Disallow: *

Host: www.site.ru

Наверно, перепишу так, чтобы не ошибиться

User-agent: *

Disallow: /ddddd/

Host: www.site.ru

M
На сайте с 18.05.2005
Offline
50
mephi
#6

Если не нужно ничего запрещать, robots.txt следует сделать просто пустым и все.

Таким образом, и статистика по 404 (не найдено) не будет портиться.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий