Нужен совет по robots.txt

doker
На сайте с 29.10.2007
Offline
58
538

Хочу исключить сайт из индекса Йаху и МСН, составил такой роботс:

User-Agent: *

Host: www.vvvvv.ru

User-agent: Yahoo! Slurp

Disallow: /

User-agent: Yahoo!

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: msnbot

Disallow: /

При анализе в вебмастере гугля, мне выдалось, что индексация сайта гуглем запрещена в 5 строке...почему?

составил такой роботс:

User-Agent: *

Host: www.vvvvv.ru

User-agent: Yandex

Allow: /

User-agent: Yahoo! Slurp

Disallow: /

User-agent: Yahoo!

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: msnbot

Disallow: /

При проверке выдалось, что индексация гуглем разрешена в 5 строке.

Вопрос: так как все таки правильно прописать все в роботсе? не получится ли во втором варианте, что я разрешил не только гуглю и яше, но и всем остальным поисковикам тоже индексировать сайт?

Все ссылки Рунета (http://www.rookee.ru/Web/Register.aspx?pid=95008f55873ece36ccd5c0382bf9df33957452) - учет тематики, региональность, гарантия индексации, пакетное продвижение НЧ! Нет времени на статьи? Ссылки навсегда на качественных сайтах (http://gogetlinks.net/register_user.php?inv=26n0nt)! Отличная биржа ссылок Mainlink (http://www.mainlink.ru/?partnerid=40266).
Futurman
На сайте с 12.11.2007
Offline
40
#1

+ в догонку есть ли различие между: User-Agent и User-agent?

doker
На сайте с 29.10.2007
Offline
58
#2
Futurman:
+ в догонку есть ли различие между: User-Agent и User-agent?

спасиб, что написал )) вроде по правилам agent с маленькой надо писать, сейчас поправил....однако вопрос с гугл вебмастером остался: почему гугль смотрит директивы, указанные для другого юзер-агента? и как правильнее все таки прописать роботс?

Kirik
На сайте с 13.04.2006
Offline
266
#3

Попробуй это убрать:

User-Agent: *

Host: www.vvvvv.ru

или заменить на если сайт русскоязычный

User-agent: Yandex

Disallow:

Host: www.vvvvv.ru

И потыкай тут: http://www.mcanerin.com/en/search-engine/robots-txt.asp

~~ Продвижение сайтов (https://kirik.pro/) ~~ PRPosting.com (https://prposting.com) - ссылки под бурж, 100+ стран, 45000 доноров, партнерка с 5% от трат ~~ Копирайтинг и рерайтинг (https://wordfactory.ua/)
doker
На сайте с 29.10.2007
Offline
58
#4

спасиб...поменял на второй вариант - усе работает. сходил по ссылочке, посмотрел создание - там строка юзер-агент * пишется в конце, попробую ща сделать ))

вот что мне выдалось:

User-agent: MSNBot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: *

Disallow:

Sitemap: http://www.yoursite.com/sitemap.gz,

я сделал так:

User-agent: MSNBot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: *

Host: http://www.yoursite.com

Sitemap: http://www.yoursite.com/sitemap.gz

теперь гугль не ругается вроде

DI
На сайте с 03.01.2007
Offline
123
#5

директива Disallow - обязательна для каждого юзер-агента, поэтому с точки зрения роботов исходный robots.txt выглядел так:

User-Agent: *
Host: www.vvvvv.ru

User-agent: Yahoo! Slurp
Disallow: /
Высказывание идиотского утверждения требует на порядок меньше усилий, чем его последовательное и обоснованное опровержение и более того, иногда это опровержение вообще невозможно. © (http://zhurnal.lib.ru/s/shapiro_m_a/raspidiota.shtml)
doker
На сайте с 29.10.2007
Offline
58
#6

тогда правильнее будет так? :

User-agent: MSNBot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: *

Disallow:

Host: www.yoursite.com

Sitemap: http://www.yoursite.com/sitemap.gz

you_too
На сайте с 28.06.2006
Offline
89
#7
doker:
тогда правильнее будет так? :

User-agent: MSNBot
Disallow: /

User-agent: Slurp
Disallow: /

User-agent: *
Disallow:
Host: www.yoursite.com
Sitemap: http://www.yoursite.com/sitemap.gz

Я бы все же прописал так:

User-agent: MSNBot

Disallow: /

User-agent: Slurp

Disallow: /

User-Agent: *

Allow: /

Sitemap: http://www.yoursite.com/sitemap.gz

User-agent: Yandex

Allow: /

Host: www.yoursite.com

Sitemap: http://www.yoursite.com/sitemap.gz

Малютка на Tegra 2 - Trim-Slice (http://blog-youtoo.ru/?p=4277) | Стабильный денежный (bit.ly/o7GqGQ) поток

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий