Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Если возможности увидеть все страницы сайта?

M
На сайте с 14.12.2006
Offline
46
Maxman
547

Если возможности увидеть все страницы сайта? В том случае, если они «отцеплены» от сайта, т.е. находятся только на сервере в корне сайта и закрыты robots.txt’ом, а robots.txt выдает ошибку 404?

ARCOS
На сайте с 15.09.2005
Offline
131
ARCOS
#1
Maxman:
Если возможности увидеть все страницы сайта? В том случае, если они «отцеплены» от сайта, т.е. находятся только на сервере в корне сайта и закрыты robots.txt’ом, а robots.txt выдает ошибку 404?

Можно, если знаете имена страниц :)

Или если являетесь администратором сервера :)

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2
Maxman:

.... и закрыты robots.txt’ом, а robots.txt выдает ошибку 404?

Это как может быть?

ARCOS
На сайте с 15.09.2005
Offline
131
ARCOS
#3
kimberlit:
Это как может быть?

Ну сделать чтобы сервер отдавал 404 ошибку можно, но файл то при этом показываться все равно будет, при его наличии...

Короче ТС сам не знает чего хочет.. :)

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4
ARCOS:

.... Короче ТС сам не знает чего хочет.. :)

К гадалке не ходи ... Линкопомойку прячет ;-)

M
На сайте с 14.12.2006
Offline
46
Maxman
#5
ARCOS:
Короче ТС сам не знает чего хочет..
kimberlit:
К гадалке не ходи ... Линкопомойку прячет ;-)

Все не так.

Наблюдаю за одним сайтиком уже достаточно давно.

Раньше при вводе в адресной строке - www.site.ru/tobots.txt отдавал ошибку 404, но "глазами Яндекса" - http://www.yandex.ru/cgi-bin/test-robots файлик был виден.

А теперь и "глазами Яндекса" отдает "Сервер вернул код ошибки 404" хотя знаю точно, на сервере этот файлик есть.

Вопрос в следующем:

технически как сделать неинтересует,

интересует, как все-таки robots.txt увидеть???

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий