Как писал Gray Конкретно эта страница вполне выглядит как статика. Скорее всего, PR влияет, он же всего 2/10.
Тогда я озадачен, господа. Раздел Статьи, которые появились много позже, чем Каталог фирм, успешно индексируются, спайдер их регулярно обходит. А дальше /catalog/ ни разу не заглядывал (я внимательно за этим слежу, каждый выходной приходит подробный отчет какой спайдер что запрашивал за прошедшую неделю).
Его может как-то смущать /cgi/script?long-params-list ? Если причина только в этом (Яндекс и Рамблер прожевали на ура), то это можно исправить достаточно малой кровью через mod_rewrite.
Кстати, по поводу PR - изменится ли он в большую сторону, если на сайтах с более высоким PR (4/10, 6/10) появятся на меня ссылки (хотя бы на одной странице на сайтах с таким PR)?
Как писал Professor в отношении рамблера это практически единственный способ ... можно еще в meta прописать ... мне интересно, сколько на это времени уходит?
Висит с момента открытия сайта (02.04.2002) - в отличие от конструкции <noindex><a href="...&prn=1">...</a></noindex> я догадался проставить meta сразу.
Как видим, фиолетово. :-(
P.S. Каждую неделю мне приходит отчет о посещении этого сайта роботами. Робот StackRambler запрашивал вышеуказанный URL не единожды, из чего можно сделать вывод о том, что на meta Рамблеру (пока?) начхать.
Как писал Interitus Не противоречит. Вполне нормальный способ.
Ещё есть способ запретить такие URL в robots.txt.
AFAIK robots.txt не позволяет запретить индексацию URL'ов по regex'у. Идея выдавать 404 Not Found для плохих роботов мне представляется менее трудоёмкой для программирования, чем генерация robots.txt в условиях моего сайта.
Первоначальное сообщение от euhenio насколько я помню, обсуждалось, что Гугль заходит на 1 уровень в динамические страницы, а ссылки с динамики игнорирует(т.е., не ходит по ним). Может, это твой случай?
Хм. Первый раз об этом слышу. И вообще, я приложил максимум усилий для того, чтобы эта динамика притворялась статикой.
Первоначальное сообщение от Gray bk_man Или ты боишься, что у тебя сервер повесится? :)
Нормально настроенный сервер вполне способен отработать 400 запрос к динамике за пару минут.
То, что сервер повесится, не боюсь (спасибо огромное Игорю Сысоеву за mod_accel), но задача робота - аккуратно индексировать сервер, а не пинать через пару секунд. Хотя наверное это моё ИМХО.
А вот прои динамику - вопрос интересный.
Действительно большого наплыва посетителей (коего ни мне, ни данному, простите, сайту не снилось) не выдерживает. Умеренная статика с удачно подобранным временем кэширования - так будет лучше. Опять же IMHO.
Прошло уже более двух месяцев с момента публичного открытия сайта. Робот уже неоднократно проверил страницы, доступные по ссылкам с главной (все они доступны в поиске), а также некоторые другие. А вот главный контент сайта он игнорирует. :-(
И не стыдно?
http://dmoz.org/World/Russian/%e4%cf%cd%c1%db%ce%c5%c5/%e4%cf%cd%c1%db%ce%c9%ca_%d2%c5%cd%cf%ce%d4/%ef%cb%ce%c1_%c9_%c4%d7%c5%d2%c9/
--> http://dmoz.org/cgi-bin/add.cgi?where=World/Russian/%e4%cf%cd%c1%db%ce%c5%c5/%e4%cf%cd%c1%db%ce%c9%ca_%d2%c5%cd%cf%ce%d4/%ef%cb%ce%c1_%c9_%c4%d7%c5%d2%c9
http://dmoz.org/World/Russian/%f3%d0%d2%c1%d7%cf%de%ce%c9%cb%c9/%eb%c1%d4%c1%cc%cf%c7%c9/
--> http://dmoz.org/cgi-bin/add.cgi?where=World/Russian/%f3%d0%d2%c1%d7%cf%de%ce%c9%cb%c9/%eb%c1%d4%c1%cc%cf%c7%c9
Угу, а вы эти формы пробовали постить?
И кому еще должно быть стыдно... 🙅
Изменится - в сторону повышения.
А влияет ли размещение сайта в dmoz.org на PR?
Конкретно эта страница вполне выглядит как статика. Скорее всего, PR влияет, он же всего 2/10.
Тогда я озадачен, господа. Раздел Статьи, которые появились много позже, чем Каталог фирм, успешно индексируются, спайдер их регулярно обходит. А дальше /catalog/ ни разу не заглядывал (я внимательно за этим слежу, каждый выходной приходит подробный отчет какой спайдер что запрашивал за прошедшую неделю).
Его может как-то смущать /cgi/script?long-params-list ? Если причина только в этом (Яндекс и Рамблер прожевали на ура), то это можно исправить достаточно малой кровью через mod_rewrite.
Кстати, по поводу PR - изменится ли он в большую сторону, если на сайтах с более высоким PR (4/10, 6/10) появятся на меня ссылки (хотя бы на одной странице на сайтах с таким PR)?
Если 302-й отклик, то не должен. А вот редирект с откликом 200 (ява-скриптом, например) - прямая дорога в бан-лист
Вообще-то положено отдавать 301 - перемещено постоянно.
в отношении рамблера это практически единственный способ ... можно еще в meta прописать ... мне интересно, сколько на это времени уходит?
http://www.tool.ru/cgi/view?type=fc&id=2415&prn=1
Висит с момента открытия сайта (02.04.2002) - в отличие от конструкции <noindex><a href="...&prn=1">...</a></noindex> я догадался проставить meta сразу.
Как видим, фиолетово. :-(
P.S. Каждую неделю мне приходит отчет о посещении этого сайта роботами. Робот StackRambler запрашивал вышеуказанный URL не единожды, из чего можно сделать вывод о том, что на meta Рамблеру (пока?) начхать.
Не противоречит. Вполне нормальный способ.
Ещё есть способ запретить такие URL в robots.txt.
AFAIK robots.txt не позволяет запретить индексацию URL'ов по regex'у. Идея выдавать 404 Not Found для плохих роботов мне представляется менее трудоёмкой для программирования, чем генерация robots.txt в условиях моего сайта.
насколько я помню, обсуждалось, что Гугль заходит на 1 уровень в динамические страницы, а ссылки с динамики игнорирует(т.е., не ходит по ним). Может, это твой случай?
Хм. Первый раз об этом слышу. И вообще, я приложил максимум усилий для того, чтобы эта динамика притворялась статикой.
bk_man
Или ты боишься, что у тебя сервер повесится? :)
Нормально настроенный сервер вполне способен отработать 400 запрос к динамике за пару минут.
То, что сервер повесится, не боюсь (спасибо огромное Игорю Сысоеву за mod_accel), но задача робота - аккуратно индексировать сервер, а не пинать через пару секунд. Хотя наверное это моё ИМХО.
А вот прои динамику - вопрос интересный.
Действительно большого наплыва посетителей (коего ни мне, ни данному, простите, сайту не снилось) не выдерживает. Умеренная статика с удачно подобранным временем кэширования - так будет лучше. Опять же IMHO.
В общем, ситуация такая: на одни страницы ходит, смотрит. Но вот на основной контент - фигу. С чем это может быть связано?
Вот конкретный URL'ы:
http://www.tool.ru/catalog/ - ходит
http://www.tool.ru/cgi/view?type=fc&id=2495 - не ходит.
Прошло уже более двух месяцев с момента публичного открытия сайта. Робот уже неоднократно проверил страницы, доступные по ссылкам с главной (все они доступны в поиске), а также некоторые другие. А вот главный контент сайта он игнорирует. :-(