Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Подскажите софт для создания robots.txt

1 23
AM
На сайте с 04.11.2003
Offline
57
Arty.M
#21
Stromgard:
Мне так и не ответили... Будет ли ЭТО работать?

валидатор

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Stromgard:
это для shell?

да

sniffer
На сайте с 15.12.2005
Offline
80
sniffer
#22

Что мешает написать скрипт поиска всех вордовских файлов и генерирование строки(для robots.txt) запрета индескирования для поисковиков и вывести их в респонс? А потом методом копи-пасте вставить их в сам файл robots.txt

BeeR or not to BeeR? (вот в чем вопрос)
P2
На сайте с 16.09.2005
Offline
183
Pavel2005
#23
FlyAway:
Stromgard, а по-другому для всех роботов не запретишь.

Да, а точнее для наших поисковиков это не сделать в настоящее время.

sniffer:
Что мешает написать скрипт поиска всех вордовских файлов и генерирование строки(для robots.txt) запрета индескирования для поисковиков и вывести их в респонс? А потом методом копи-пасте вставить их в сам файл robots.txt

Вот это самое разумное :)

K. Ermakov
На сайте с 10.12.2004
Offline
328
K. Ermakov
#24
Stromgard:
Мне так и не ответили... Будет ли ЭТО работать?

Ошибаетесь. Ответили: /ru/forum/comment/1042887

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
Stromgard
На сайте с 11.12.2005
Offline
57
Stromgard
#25
Pavel2005:
Да, а точнее для наших поисковиков это не сделать в настоящее время.
Вот это самое разумное :)

Согласен. Спасибо

K. Ermakov:
Ошибаетесь. Ответили: /ru/forum/comment/1042887

Извините, был не прав. Исправлюсь.🙄

Все решилось написанием скрипта. Всем спасибо.

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий