Внимание синтаксис robots.txt

S2
На сайте с 07.01.2008
Offline
611
#41
Willie:
Во-вторых, а подставить вместо Вашего домена site.ru - не судьба?

А при чём тут домен? В роботсе для Гугла он вроде вообще не нужен, кроме как для карты сайта. ТС имеет ввиду, что с помощью определённого запроса, можно найти сайт, так как в robots.txt указаны специфические урлы.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
sirota77
На сайте с 08.09.2008
Offline
161
#42
Str256:
А при чём тут домен? В роботсе для Гугла он вроде вообще не нужен, кроме как для карты сайта. ТС имеет ввиду, что с помощью определённого запроса, можно найти сайт, так как в robots.txt указаны специфические урлы.

Willie, мотайте на ус.

Вопрос решён ещё утром, ответ в теме чуть выше.

kimberlit
На сайте с 13.03.2007
Offline
370
#43
Str256:
можно найти сайт, так как в robots.txt указаны специфические урлы.
sirota77:
Willie, мотайте на ус.

Несколько страниц просили заменить части url и показать саму маску. Ответ бы раньше был. Но так и не дошло, по-моему...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий