Robots.txt с регулярными выражениями.

12
B
На сайте с 26.05.2013
Offline
47
490

Всем доброго времени суток.

Есть такой роботс:

User-agent: *

Allow: /gallery/
Allow: /gallery/thumbnails.php?album=*
Allow: /gallery/thumbnails.php?album=*&page=*
Allow: /gallery/displayimage.php?album=*&pid=*
Disallow: /*?
Disallow: /*&

Результат с него такой:

все страницы, типа: /gallery/thumbnails.php?album=*&page=* и /gallery/thumbnails.php?album=* не проходят.

Почему?

temniy
На сайте с 15.03.2008
Offline
236
#1

Директивы Allow не существует, а в Disallow страницы с параметрами запрещены -

Disallow: /*?

⭐ Лучший хостинг от 4 евро, VPS от 6 евро, VPN недорого - разные локации - любые карты - скидки до 20% - https://fornex.com/c/ffi2e3/ru/services/
B
На сайте с 26.05.2013
Offline
47
#2
temniy:
Директивы Allow не существует

Как не существует?

А это что такое?

http://help.yandex.ru/webmaster/?id=996567

besselj
На сайте с 01.11.2008
Offline
107
#3
Директивы Allow не существует

кто сказал?

kimberlit
На сайте с 13.03.2007
Offline
370
#4
temniy:
Директивы Allow не существует

Это не раздел апдейтов. Ты ошибся.

bombapiter:
не проходят

Где?

B
На сайте с 26.05.2013
Offline
47
#5
kimberlit:
Это не раздел апдейтов. Ты ошибся.


Где?

В http://www.xml-sitemaps.com/

temniy
На сайте с 15.03.2008
Offline
236
#6
bombapiter:
Как не существует?
А это что такое?

Она не входит в утвержденный и поддерживаемый всеми поисковиками стандарт - http://www.robotstxt.org/orig.html

Яндекс ее поддерживает, собственно, он ее и придумал.

---------- Добавлено 26.05.2013 в 23:24 ----------

kimberlit:
Это не раздел апдейтов. Ты ошибся.

Поясни, я не понял твоего тонкого юмора.

siv1987
На сайте с 02.04.2009
Offline
427
#7
bombapiter:
Есть такой роботс:

Если есть Allow: /gallery/, остальные Allow для /gallery/ бессмысленны, так как они все попадут под первую секцию. Так что это можно писать просто

User-agent: *

Allow: /gallery/

Disallow: /*?

Disallow: /*&

Возможно сервис не понимает allow, или не правильно его интерпретирует.

kimberlit
На сайте с 13.03.2007
Offline
370
#8
temniy:


Яндекс ее поддерживает, собственно, он ее и придумал.

А Google не поддерживает? :D

temniy
На сайте с 15.03.2008
Offline
236
#9
kimberlit:
А Google не поддерживает? :D

Вроде бы поддерживает с недавних пор, но повторяю еще раз - она не входит в стандарт, а это значит, что поведение поисковиков при встрече с ней непредсказуемо. Что, собственно, и описано ТСом в топике.

siv1987
На сайте с 02.04.2009
Offline
427
#10
temniy:
Вроде бы поддерживает с недавних пор

С недавних пор это по уже где-то года 4-5. И внедрил ее как раз первый гугл http://www.mattcutts.com/blog/new-robotstxt-tool/ А потом уже яндекс следом.

temniy:
она не входит в стандарт, а это значит, что поведение поисковиков при встрече с ней непредсказуемо.

Негласно она уже входит. И понимают ее практически все нормальные ПС.

temniy:
Что, собственно, и описано ТСом в топике.

ТСом в топике описан какой-то сервис а не ПСы.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий