Форум Поисковые системы Яндекс

Различия в интерпретации robots.txt Яндексом и Гуглом

S
На сайте с 28.10.2005
Offline
312
semenov
897

robots.txt №1:

User-Agent: *

Disallow: /dir/

Allow: *.html

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html запрещен правилом /dir/

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 3: Allow: *.html

http://site.ru/123.html Разрешено в строке 3: Allow: *.html

robots.txt №2:

User-Agent: *

Allow: *.html

Disallow: /dir/

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html разрешен

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 2: Allow: *.html

http://site.ru/123.html Разрешено в строке 2: Allow: *.html

Насколько нам позволяют наши скудные познания в роботоводстве, смеим судить, что прав Яндекс

Если фактическое поведение роботов иное, то это двойной фейл

Будьте внимательны!

azartan
На сайте с 25.11.2010
Offline
67
azartan
#1

так в Гугле несколько роботов и чтоб запретить директорию

надо писать не просто

User-Agent: *

Disallow: /dir/

а отдельно для гугла

User-Agent: Googlebot

Disallow: /dir/

тогда не будет индексировать

Мониторинг обменников - выгодный обмен электронных денег и криптовалют (https://okku.ru) * Сайт о домашних питомцах - вопросы, ответы, объявления (http://zhizo.ru)
S
На сайте с 28.10.2005
Offline
312
semenov
#2

Звездочка как бы подразумевает всех роботов, поэтому суть дела не меняется:

robots.txt №1:

User-Agent: *

Disallow: /dir/

Allow: *.html

User-Agent: Yandex

Disallow: /dir/

Allow: *.html

User-Agent: Googlebot

Disallow: /dir/

Allow: *.html

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html запрещен правилом /dir/

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 11: Allow: *.html

http://site.ru/123.html Разрешено в строке 11: Allow: *.html

robots.txt №2:

User-Agent: *

Allow: *.html

Disallow: /dir/

User-Agent: Yandex

Allow: *.html

Disallow: /dir/

User-Agent: Googlebot

Allow: *.html

Disallow: /dir/

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html разрешен

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 10: Allow: *.html

http://site.ru/123.html Разрешено в строке 10: Allow: *.html

Новые стандарты для директивы OpenAI разрешила сайтам закрывать Составление файла robots.txt

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий