Форум Поисковые системы Google

про Robots.txt

12
R
На сайте с 15.07.2010
Offline
29
Rockfire
843

есть код

User-agent: *
Allow: /index.php?option=com_sefservicemap*
Disallow: /administrator/
Disallow: /cache/
Disallow: /component/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /central-air/ventilation-info/
Disallow: /informaciya-o-kondocionerah/informaciya-o-kondocionerah/
Disallow: /index.php
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /informaciya-o-kondocionerah/library/
Host: www.splitstream.ru
Sitemap: http://splitstream.ru/index.php?option=com_sefservicemap&task=xmlmapindex&no_html=1

Гугл Вебмастер отвечает:

http://splitstream.ru/index.php?option=com_sefservicemap&task=xmlmapindex&no_html=1

Разрешено в строке 2: Allow: /index.php?option=com_sefservicemap*

при этом в настройках Sitemap

URL, запрещенный файлом robots.txt
При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку.

Подождать пока обновится? Директиву Allow внес только что.

Robin_Bad
На сайте с 24.12.2007
Offline
85
Robin_Bad
#1

Rockfire, откуда вы вообще это Allow взяли? в стандарте его нет и никогда не было

S
На сайте с 26.02.2009
Offline
17
spliter
#2
Robin_Bad:
Rockfire, откуда вы вообще это Allow взяли? в стандарте его нет и никогда не было

Я тоже использую Allow, да и гугл тоже использует

http://www.google.com/robots.txt
П
На сайте с 19.04.2005
Offline
104
Пилот
#3
Rockfire:

Подождать пока обновится? Директиву Allow внес только что.

подождите пока обновится

Вечные ссылки в рассрочку, отобраны только качественные доноры Регистрация по приглашению -> http://gogettop.ru/?ref=18973 (http://gogettop.ru/?ref=18973)
M
На сайте с 27.10.2006
Offline
111
Maxoud
#4
spliter:
Я тоже использую Allow, да и гугл тоже использует

Google использует его для частичной отмены предыдущего запрета, а не впереди всего.

(Что не запрещено, то разрешено.)

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.
Robin_Bad
На сайте с 24.12.2007
Offline
85
Robin_Bad
#5

spliter, да, про расширение стандарта Гуглом я запамятовал, признаю :)

B
На сайте с 07.02.2005
Offline
161
bober
#6
Maxoud:
Google использует его для частичной отмены предыдущего запрета, а не впереди всего.

Абсолюто точно. И только так эту директиву и можно использовать, остальное - неправильно.

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

K
На сайте с 31.01.2001
Offline
737
Kost
#7
Robin_Bad:
про расширение стандарта Гуглом я запамятовал

Не только Гуглом, но и Яндексом, и Яхой. Надо почаще заглядывать в справку Яндекса и Гугла.

Кстати, Rockfire, а ничего, что содержимое карты сайта прямо противоречит директиве Host ?

Яндекс может недоумевать.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
R
На сайте с 15.07.2010
Offline
29
Rockfire
#8
Kost:
Не только Гуглом, но и Яндексом, и Яхой. Надо почаще заглядывать в справку Яндекса и Гугла.

Кстати, Rockfire, а ничего, что содержимое карты сайта прямо противоречит директиве Host ?
Яндекс может недоумевать.

Яндекс светится зеленым и ему все нравится, что самое интересное, сейчас проверил. если адрес файла SiteMap ввести с www, то его содержание меняется.

bober:
Абсолюто точно. И только так эту директиву и можно использовать, остальное - неправильно.
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

причем по докам яндекса Allow должен быть выше.

http://help.yandex.ru/webmaster/?id=996567#996571

Совместное использование директив.

И как быть?

Update:

Прочитал доку гугла

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

там как раз в примере Allow стоит выше, или я вас не так понял?

Яндекс внес изменения в Новые стандарты для директивы Bing опубликовал руководство по
M
На сайте с 27.10.2006
Offline
111
Maxoud
#9
Rockfire:
причем по докам яндекса Allow должен быть выше.
Совместное использование директив.
И как быть?

Писать для Яндекса отдельный блок.

Так как Allow не относится к стандартым правилам, неизвестно как поведут себя другие боты. Лучше прикрутите meta robots или в движке фильтруйте Google по user-agent и отдавайте ему 404. Это гарантированно выкинет ненужные страницы из индекса (если они уже там).

Новые стандарты для директивы Adfox усовершенствовал правила фильтрации О чем нужно помнить
R
На сайте с 15.07.2010
Offline
29
Rockfire
#10
Maxoud:
Писать для Яндекса отдельный блок.

Так как Allow не относится к стандартым правилам, неизвестно как поведут себя другие боты. Лучше прикрутите meta robots или в движке фильтруйте Google по user-agent и отдавайте ему 404. Это гарантированно выкинет ненужные страницы из индекса (если они уже там).

логично, но невыполнимо в данном движке.

Лучше объясните как на этой странице

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

в разделе

Создать файл robots.txt вручную

идет пример:

User-agent: *
Allow: /*?$
Disallow: /*?

Строка Disallow:/ *? блокирует доступ ко всем URL-адресам со знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, внутри которой встречается знак вопроса).

Строка Allow: /*?$ разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, заканчивающуюся на ?, после которого нет других символов).

В данном примере разве Allow не уточняющий и не стоит выше?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий