Проблемы с robots.txt

BF
На сайте с 29.07.2004
Offline
0
580

В такой форме составлен был robots.txt месяца 3 назад и помещен в корневую папку сервера.


User-Agent: *
Disallow: /rus/
Disallow: /eng/
Disallow: /files/
Disallow: /forum/
Disallow: /schedule
Disallow: /tariffs
Disallow: /availiable
Disallow: /timetable/rasp/eburg?page=tariffs
Disallow: /timetable/rasp/moscow?page=tariffs
Disallow: /sirena23
Disallow: /?page=content
Disallow: /index.php?page=content
Disallow: /timetable/rasp/eburg?page

be1.ru рапортует, что именнов таком виде он (robots.txt) известен Яндексу.

Ни яндекс, ни гугл не убрали за эти три месяца из выдачи страницы с такими у рлами, например host/rus/shedule/charters.asp.

Что не так?

ЗЫ Составление файла robots.txt читал и не только его.

[Удален]
#1

Ну в Гугле ссылки на страницы остаются, просто сами страницы непроиндексированны. Список полностью проиндексированных смотреть надо примерно по такому запросу: http://www.google.ru/search?q=site:www.uralairlines.ru+powered

А для Яндекса - три месяца не срок.

BF
На сайте с 29.07.2004
Offline
0
#2
Как писал Interitus
Ну в Гугле ссылки на страницы остаются, просто сами страницы непроиндексированны. Список полностью проиндексированных...

В этом списке присутствуют страницы

host/?page=content&...

и

host/rus/....

т.е. они проиндексированы, чего быть не должно, так?

Как писал Interitus
А для Яндекса - три месяца не срок.

ммм.. полгода нормально?

(это шутка)

[Удален]
#3
В этом списке присутствуют страницы
host/?page=content&...
и
host/rus/....

т.е. они проиндексированы, чего быть не должно, так?

Те что я вижу - с подписью "Дополнительный результат" (supplementary result) - это старые копии страниц, которые Гугль взял еще когда запрета не было. Сколько он их теперь хранить будет - неизвестно. Но новые не берет зато, и в выдаче обычно не показывает.

BF
На сайте с 29.07.2004
Offline
0
#4

Спасибо, будем дальше колдовать

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий