2 простых вопроса.

M
На сайте с 24.01.2006
Offline
99
828

Нужно проверить что отвечает сервер на запрос поисковика... чтото сайт не индексируется совсем неодной страницы... если это 404 наверное надо чтото делать....

И вот ещё:

в роботс прописал

User-agent: *

Disallow: /index.php?j=

тоесть все страницы которые начинаются на

index.php?j=

Не буду индексироваться? А сам index.php хоть будет???

SS
На сайте с 03.09.2004
Offline
141
#1
mutant:
Нужно проверить что отвечает сервер на запрос поисковика... чтото сайт не индексируется совсем неодной страницы... если это 404 наверное надо чтото делать....

Заголовки можно проверить вот здесь.

mutant:
А сам index.php хоть будет???

Будет, если на нем отклики нормальные и косяков с noindex нет.

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
#2
mutant:
Нужно проверить что отвечает сервер на запрос поисковика...

http://be1.ru/stat - вводите адрес сайта и смотрите заголовок ответа сервера внизу страницы.

mutant:
И вот ещё:
в роботс прописал
User-agent: *
Disallow: /index.php?j=

тоесть все страницы которые начинаются на
index.php?j=
Не буду индексироваться? А сам index.php хоть будет???

Все верно :)

С уважением, Ярослав Деревягин Веб-агентство "Found (http://found-it.ru)"
Pushistik
На сайте с 23.12.2005
Offline
39
#3
Yaroslav_Adv:
http://be1.ru/stat - вводите адрес сайта и смотрите заголовок ответа сервера внизу страницы.

Все верно :)

Замечательный сервис, сама постоянно им пользуюсь... некторые вещи, которые он показывает даже не знаю как посмотреть руками. Очень удобно при быстром анализе сайта, кстати, работники яндекса тоже им пользуются: когда были проблемы с моим продвигаемым сайтом www.kolazko.ru - не индексировался, спрашивала в чем дело, яндекс именно ссылку с http://be1.ru прислал, в которой указал на то, что страница на отдает код 200, а пишет ошибку!

Artisan
На сайте с 04.03.2005
Offline
375
#4
mutant:
Нужно проверить что отвечает сервер на запрос поисковика.

Если быть совсем точным то это может знать только тот кто сделает запрос с того же IP адреса и такой же как это делает робот поисковой системы то есть если эти условия не все выполнены то надо отказаться от тех условий которые не выполнены и упростить задачу, ...

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
SS
На сайте с 03.09.2004
Offline
141
#5
Artisan:
Если быть совсем точным то это может знать только тот кто сделает запрос с того же IP адреса и такой же как это делает робот поисковой системы то есть если эти условия не все выполнены то надо отказаться от тех условий которые не выполнены и упростить задачу, ...

А зачем так усложнять себе зачачу? Устраиваться на работу в поисковик, чтоб проверить с айпишника поисковика какой-то отклик? :)

Чем проверка хорошей настраиваемой проверялкой хуже? Или Вы намекаете на клоакинг? Его достаточно просто через кэш отловить.

Artisan
На сайте с 04.03.2005
Offline
375
#6
Seventh Son:
А зачем так усложнять себе зачачу? Устраиваться на работу в поисковик, чтоб проверить с айпишника поисковика какой-то отклик? :) Чем проверка хорошей настраиваемой проверялкой хуже? Или Вы намекаете на клоакинг? Его достаточно просто через кэш отловить.

На некоторых хостингах бывают кэширующие прокси сервера для выдачи документов в ответ на запрос броузера или робота поисковой системы и никто не может гарантировать то что выдача прокси сервера будет одинаковая для всех IP адресов с которых происходит запрос тем более что такие кэширующие прокси сервера бывают распределенными по разным регионам и даже странам.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий