Индексация страницы с помощью robots.txt

S
На сайте с 26.05.2010
Offline
37
1001

Такая проблема, нужно для автоматизации процесса. Заливаю сайт на фрихост или другой хост, сайт находится в папке, пример http://freehost.ru/~door/site1/, http://freehost.ru/~door/site2/ и т.п. Заранее адрес не известен, подключаюсь на фтп, создаю папку site1 и заливаю туда дор, второй, третий и т.п.. Хочу по адресу http://freehost.ru/~door/ сделать файл robots.txt и указать все свои сайты, чтобы поисковики при открытии только robots.txt нашли все сайты, каким образом это можно сделать? Сработает если указать Allow: /site1/ ? Sitemap не предлагать, не подходит.

[Удален]
#1

senlik, если бы все было так просто... ищи другую схему

4arger
На сайте с 17.12.2008
Offline
95
#2

senlik, купи ссылок на свои доры.

S
На сайте с 26.05.2010
Offline
37
#3

я могу и хрумером прогнать... проблема стоит в том, чтобы закачать дор и пойти грузить другой, забыв про предыдущий. Поэтому нужно как-то в "индексе" оставить информацию про мои доры, придумал только через роботс.тхт. Может как-то на sitemap.xml можно оставить относительную ссылку, т.е. без указания полного адреса сайта /sitemap.xml

Дeнис
На сайте с 14.05.2009
Offline
67
#4

Полнейшее непонимание принципа бабулера.

[]
V
На сайте с 04.04.2007
Offline
75
#5

И главное не путайте с методом межбабулера

Revan
На сайте с 09.09.2005
Offline
321
#6
senlik:
я могу и хрумером прогнать... проблема стоит в том, чтобы закачать дор и пойти грузить другой, забыв про предыдущий. Поэтому нужно как-то в "индексе" оставить информацию про мои доры, придумал только через роботс.тхт. Может как-то на sitemap.xml можно оставить относительную ссылку, т.е. без указания полного адреса сайта /sitemap.xml

Причем здесь карта сайта?)))

Ну и запускайте при заливке следующего дорвея ваш постер по предыдущему.

Или, как обычные смертные, один скрипт заливает.

Другой скрипт постит ссылки на залитые доры.

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
spambot
На сайте с 12.12.2008
Offline
55
#7
Revan:
Причем здесь карта сайта?)))
Ну и запускайте при заливке следующего дорвея ваш постер по предыдущему.
Или, как обычные смертные, один скрипт заливает.
Другой скрипт постит ссылки на залитые доры.

парняга лом заливает и сам не знает какой урл у дорвея получится в итоге. 🙅

Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. (http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454)
Revan
На сайте с 09.09.2005
Offline
321
#8
spambot:
парняга лом заливает и сам не знает какой урл у дорвея получится в итоге. 🙅

Благодарю за разъяснения. Я затупил.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий