Robots.txt

12
VM
На сайте с 23.09.2009
Offline
192
980

Disallow: /page*

Disallow: */page/*

в чем отличие? Прошу объяснить, так же вопрос можно ли закрыть только /xfields/ но оставить индексироваться все что за пределами /xfields/2013 чтобы такое индексировалось.

RAS
На сайте с 27.11.2005
Offline
126
RAS
#1

/page* - /page.html /page_more.php

/page/* - /page/buben.html /page/buben/vbuben.php

Администрируем сервера, впс, вдс. Ускоряем загрузку сайтов - DLE, Word Press, Joomla, Modx... Настраиваем безопасность. Ручная чистка rootkit/malware/вирусов. (/ru/forum/867860) Разработка - shell/bash/sh/python/perl.
BG
На сайте с 03.10.2010
Offline
195
#2

Disallow: /page* - закрывает пути вида site.ru/page и все что дальше

Disallow: */page/* - закрывает пути в которых есть папка page в адресе, например, site.ru/ololo/page/index.php

-= Сайты на заказ | Правки, обновление, работы по DLE =- ( /ru/forum/791118 ) Telegram: @ruslansh ( tg://resolve?domain=ruslansh )
Gennadi
На сайте с 18.12.2012
Offline
138
#3
BrightGuy:

Disallow: */page/* - закрывает пути в которых есть папка page в адресе, например, site.ru/ololo/page/index.php

может быть и так Disallow:/*/* /*/page/*:)

BG
На сайте с 03.10.2010
Offline
195
#4
Gennadi:
может быть и так Disallow:/*/* /*/page/*:)

Имеете в виду фиксированное количество папок до папки page? Сомневаюсь что в этом есть смысл так как символ "*" обозначает любой текст.

kimberlit
На сайте с 13.03.2007
Offline
370
#5
BrightGuy:
Имеете в виду фиксированное количество папок до папки page? Сомневаюсь что в этом есть смысл так как символ "*" обозначает любой текст.

Это определяет не фиксированное, а минимальное количество слешей (сейчас 4 минимум). Может кому и надо такое)

K
На сайте с 01.08.2011
Offline
72
#6

Может подскажите, а что означает:

User-agent: *

Disallow: /dl

kimberlit
На сайте с 13.03.2007
Offline
370
#7
Kraus:
Может подскажите, а что означает:

User-agent: *
Disallow: /dl

Запрещены все адреса, которые начинаются с dl? :)

K
На сайте с 01.08.2011
Offline
72
#8
kimberlit:
Запрещены все адреса, которые начинаются с dl? :)

В том и дело, я не знаю)

Вероятно, бесполезно спрашивать, для чего так делается?)

artemmian
На сайте с 27.12.2013
Offline
15
#9
vip-moto:
можно ли закрыть только /xfields/

проще слово xfields заменить в любое удобное имя и использовать несколько таких слов, точнее их латинское описание, типа /genre/, /date/ и т.д. описаний для доп. полей dle в сети гуляет много

Заходите на мой сайт: http://artemmian.ru (http://artemmian.ru) и узнаете много интересного о DLE и мира IT
VM
На сайте с 23.09.2009
Offline
192
#10
artemmian:
проще слово xfields заменить в любое удобное имя и использовать несколько таких слов, точнее их латинское описание, типа /genre/, /date/ и т.д. описаний для доп. полей dle в сети гуляет много

а если не секрет модуль или что то в этом роде есть для DLE?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий