Форум Поисковые системы Яндекс

Яндексу плевать на Disallow ?

UralM
На сайте с 07.08.2006
Offline
188
UralM
1055

Обратил внимание что сайт не индексирует Гугль - смотрю в роботс, там стоит (с тех времен когда сайт на тестовом домене лежал) следующее:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /tag/*

User-agent: *

Disallow: /

Но что самое интересное это то что в Яндекс страницы нормально заходят. У меня в роботсе ошибка или яндексу на Disallow забил?

Fruit
На сайте с 15.07.2008
Offline
166
Fruit
#1

User-agent: * - два раза это что? :)

В вашем примере действовать должен только первый.

itmgk
На сайте с 08.11.2007
Offline
105
itmgk
#2
Fruit:
User-agent: * - два раза это что? :)

В вашем примере действовать должен только первый.

именно. неизвестно, как поисковики отработают данный файл....

удалите 

User-agent: *

Disallow: /
форум яндекс (http://www.forum-yandex.ru) детские площадки (http://www.festenhalt.com/%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C/%D0%B4%D0%B5%D1%82%D1%81%D0%BA%D0%B8%D0%B5-%D0%BF%D0%BB%D0%BE%D1%89%D0%B0%D0%B4%D0%BA%D0%B8/) купить в Москве
UralM
На сайте с 07.08.2006
Offline
188
UralM
#3
itmgk:
именно. неизвестно, как поисковики отработают данный файл....
удалите 
User-agent: *

Disallow: /

Ок, спасибо.

Теперь понятно как обработают - гугль не индексирует, яндекс индексирует :)

RR
На сайте с 08.06.2011
Offline
61
RedjiRed
#4
UralM:

User-agent: *
Disallow: /

Это значит запретить индексацию для всех роботов...

Tow
На сайте с 28.09.2005
Offline
152
Tow
#5

http://webmaster.yandex.ru/robots.xml.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий