Подскажите софт для создания robots.txt

12 3
Stromgard
На сайте с 11.12.2005
Offline
57
1410

Есть сайт: www.infodez.ru

Там лежит туева хуча вордовских файлов (более 500) в разных директориях. Как бы полегче запихнуть их все в robots.txt?

Ручками сложно + отсутсвие времени...

Подскажите плз.

P.S. Щас нахватаюсь минусов....

FlyAway
На сайте с 01.06.2005
Offline
439
#1

Stromgard, запихнуть их в отдельную директорию и её закрыть в robots.

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
[Удален]
#2
Подскажите софт для создания robots.txt

Notepad 🚬

Там лежит туева хуча вордовских файлов (более 500) в разных директориях. Как бы полегче запихнуть их все в robots.txt?

Сложите их все в одну папку и запретите к индексации.

Stromgard
На сайте с 11.12.2005
Offline
57
#3
FlyAway:
Stromgard, запихнуть их в отдельную директорию и её закрыть в robots.

К сожалению это невозможно :-( Неужто нет софта соответствующего? 🙅

ЗЫ. За минусы пасиб тоже.

mediatime
На сайте с 14.12.2004
Offline
39
#4

я думаю топикстартер имел ввиду, что у него не такой возможности.

Вопрос можно озвучить так:

Как закрыть расширения .doc по маске ?

Если мне память не изменяет это вот так :

Disallow: *.doc

но точно не помню надо копать

Меньше скажешь, раньше выйдешь
AM
На сайте с 04.11.2003
Offline
57
#5

#/bin/sh

find /...../www/ -name *.doc > file.txt

Stromgard
На сайте с 11.12.2005
Offline
57
#6

Seventh Son Респект.

mediatime:
я думаю топикстартер имел ввиду, что у него не такой возможности.
Вопрос можно озвучить так:

Как закрыть расширения .doc по маске ?
Если мне память не изменяет это вот так :
Disallow: *.doc
но точно не помню надо копать

Т.е. подобное будет работать?


User-Agent: *
Disallow: /*.doc$
Disallow: /*.pdf$
Евген
На сайте с 28.02.2004
Offline
1040
#7
mediatime:
Как закрыть расширения .doc по маске ?
Если мне память не изменяет это вот так :
Disallow: *.doc
но точно не помню надо копать

так нельзя.

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
K. Ermakov
На сайте с 10.12.2004
Offline
328
#8
mediatime:
Как закрыть расширения .doc по маске ?
Если мне память не изменяет это вот так :
Disallow: *.doc
но точно не помню надо копать

В Google копайте :) http://www.google.com/webmasters/remove.html#exclude_pages

Но это справедливо только для него

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
FlyAway
На сайте с 01.06.2005
Offline
439
#9

Stromgard, а по-другому для всех роботов не запретишь.

Евген
На сайте с 28.02.2004
Offline
1040
#10
Stromgard:
Там лежит туева хуча вордовских файлов (более 500) в разных директориях. Как бы полегче запихнуть их все в robots.txt?
Ручками сложно + отсутсвие времени...

кстати вопрос - зачем? ну лежа и лежат.. и фиг с ними..

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий