Убрал я его. Потом поэкспериментирую, когда яндекс меня опять полюбит :)
В общем сделал примерно так как описано выше, имеем следующий файл robots.txt
http://solomenka-ix.org.ua/robots.txt
Сегодня утром зашел Яндекс, прочитал файл и ушел. Что опять не так?
Вот всё, что было от яндекса:
87.250.231.20 - - [03/Jul/2007:01:57:40 +0300] "GET /robots.txt HTTP/1.1" 200 74
87.250.231.20 - - [03/Jul/2007:01:57:41 +0300] "GET /torrent/forum/viewtopic.php?t=10998 HTTP/1.1" 200 57835
Хм... ситуация стала намного интересней. Уже 2 дня меня сканят боты яндекса, а в поиске до сих пор пусто %)
При попытке добавить УРЛ говорит
Сайт при этом живой и относительно не тормознутый. Можете сами проверить...
Мдя.. странно как-то.
Может просто совпало мое создание роботса с очередным апдейтом Яндекса %)
Последнее, что забрал Яндекс был robots.txt
C тех пор его след простыл...
Это и есть полный robots.txt
до этого его вообще не было :)
[max@solomenka-ix solomenka-ix]$ cat robots.txt.bak User-agent: Slurp Disallow: / [max@solomenka-ix solomenka-ix]$
PS: в бак переименовал после инцидента уже.
Хм, а каким интересно образом из за "происков других людей" сайт может выпасть из индекса? Яндекс что, взятки берет?
Просто интересно :)
"Переделка" URL через mod_rewrite тут может помочь?
Просто перемещение скрипта портала в корень сайта невозможно физически...
