Форум Поисковые системы Google

роботс и пс

1234 5
[Удален]
3829

интересно как давно гугл начал требовать чтобы для него в роботсе писали отдельную секцию

как давно он начал забивать на

User-Agent: *

:confused:

Нямкин
На сайте с 02.12.2010
Offline
65
Нямкин
#1

Какие ваши доказательства? ©

Проверил только-что - у меня все норм.

[Удален]
#2

burunduk, да, действительно, что там вылезло?

[Удален]
#3

две последние

http://www.google.ru/search?q=site:www.allave.ru&num=100&hl=ru&newwindow=1&client=firefox&hs=d7Q&rls=org.mozilla:ru:official&prmd=imvns&filter=0&biw=1600&bih=691

и вот он в серпе

http://www.google.ru/search?num=100&hl=ru&newwindow=1&client=firefox&hs=i7Q&rls=org.mozilla%3Aru%3Aofficial&biw=1600&bih=691&q=%22%D1%82%D1%8B+%D0%BF%D0%BE%D0%BC%D0%BD%D0%B8%D1%88%D1%8C+%D1%81%D0%B2%D0%BE%D0%B9+%D0%BF%D0%B5%D1%80%D0%B2%D1%8B%D0%B9+%D0%BF%D0%BE%D1%86%D0%B5%D0%BB%D1%83%D0%B9%3F%22&oq=%22%D1%82%D1%8B+%D0%BF%D0%BE%D0%BC%D0%BD%D0%B8%D1%88%D1%8C+%D1%81%D0%B2%D0%BE%D0%B9+%D0%BF%D0%B5%D1%80%D0%B2%D1%8B%D0%B9+%D0%BF%D0%BE%D1%86%D0%B5%D0%BB%D1%83%D0%B9%3F%22&aq=f&aqi=&aql=&gs_nf=1&gs_l=serp.12...236316.240331.0.242332.6.6.1.0.0.0.155.525.3j2.5.0.YdQ2Fn_fsWI

в 100 :)

[Удален]
#4

Вылез в выдачу www.allave.ru/tser.html?text=%D1%82%D1%8B+%D0%BF%D0%BE%D0%BC%D0%BD%D0%B8%D1%88%D1%8C+%D1%81%D0%B2%D0%BE%D0%B9+%D0%BF%D0%B5%D1%80%D0%B2%D1%8B%D0%B9+%D0%BF%D0%BE%D1%86%D0%B5%D0%BB%D1%83%D0%B9%3F

burunduk, может, так было бы правильнее:

Disallow: /*?*

ну, или:

Disallow: /*?

Disallow: /?*

:)

[Удален]
#5

Liberus, вообще-то

там

Disallow: /*?

Disallow: /tser.html

по стандарту * в конце можно не ставить, она там по умолчанию :)

[Удален]
#6
burunduk:
по стандарту * в конце можно не ставить, она там по умолчанию

Ну оно-то да, только выходит, что спецсимвол обрабатывается не однозначно. Лучше так тогда:

Disallow: /*?$

если знак ? обозначает идентификатор сеанса, можно исключить содержащие этот символ URL-адреса, чтобы робот Googlebot не сканировал повторяющиеся страницы. Но URL-адреса, заканчивающиеся на ?, могут являться версией страницы, которую необходимо включить в индекс.

Для вашей страницы именно этот случай, т.к. там есть еще один вопрос, верно? ;)

(типа изучил матчасть когда-то)

[Удален]
#7

вопрос в том почему проигнорирован

User-Agent: *

и здесь нет спец символов

вот куча примеров с яши

http://www.google.ru/search?q=site:www.yandex.ru/yandsearch&num=100&hl=ru&newwindow=1&client=firefox&rls=org.mozilla:ru:official&prmd=imvns&filter=0&biw=1600&bih=665

[Удален]
#8
burunduk:
вопрос в том почему проигнорирован
User-Agent: *

Он не проигнорирован в вашем случае:

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449:
Строка Disallow:/ *? блокирует доступ ко всем URL-адресам со знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, внутри которой встречается знак вопроса).

Строка Allow: /*?$ разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, заканчивающуюся на ?, после которого нет других символов).

allave.ru/tser.html?text=ты+помнишь+свой+первый+поцелуй?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
Liberus:
Строка Allow: /*?$

А где у него эта строка?

[Удален]
#10
kimberlit:
А где у него эта строка?

А где у него строка

Disallow: /*?$

Разрешено все, что не запрещено.

1234 5

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий