Угу, а вы эти формы пробовали постить?
И кому еще должно быть стыдно... 🙅
А влияет ли размещение сайта в dmoz.org на PR?
Тогда я озадачен, господа. Раздел Статьи, которые появились много позже, чем Каталог фирм, успешно индексируются, спайдер их регулярно обходит. А дальше /catalog/ ни разу не заглядывал (я внимательно за этим слежу, каждый выходной приходит подробный отчет какой спайдер что запрашивал за прошедшую неделю).
Его может как-то смущать /cgi/script?long-params-list ? Если причина только в этом (Яндекс и Рамблер прожевали на ура), то это можно исправить достаточно малой кровью через mod_rewrite.
Кстати, по поводу PR - изменится ли он в большую сторону, если на сайтах с более высоким PR (4/10, 6/10) появятся на меня ссылки (хотя бы на одной странице на сайтах с таким PR)?
Вообще-то положено отдавать 301 - перемещено постоянно.
http://www.tool.ru/cgi/view?type=fc&id=2415&prn=1
Висит с момента открытия сайта (02.04.2002) - в отличие от конструкции <noindex><a href="...&prn=1">...</a></noindex> я догадался проставить meta сразу.
Как видим, фиолетово. :-(
P.S. Каждую неделю мне приходит отчет о посещении этого сайта роботами. Робот StackRambler запрашивал вышеуказанный URL не единожды, из чего можно сделать вывод о том, что на meta Рамблеру (пока?) начхать.
AFAIK robots.txt не позволяет запретить индексацию URL'ов по regex'у. Идея выдавать 404 Not Found для плохих роботов мне представляется менее трудоёмкой для программирования, чем генерация robots.txt в условиях моего сайта.
Хм. Первый раз об этом слышу. И вообще, я приложил максимум усилий для того, чтобы эта динамика притворялась статикой.
То, что сервер повесится, не боюсь (спасибо огромное Игорю Сысоеву за mod_accel), но задача робота - аккуратно индексировать сервер, а не пинать через пару секунд. Хотя наверное это моё ИМХО.
А вот прои динамику - вопрос интересный.
Действительно большого наплыва посетителей (коего ни мне, ни данному, простите, сайту не снилось) не выдерживает. Умеренная статика с удачно подобранным временем кэширования - так будет лучше. Опять же IMHO.
В общем, ситуация такая: на одни страницы ходит, смотрит. Но вот на основной контент - фигу. С чем это может быть связано?
Вот конкретный URL'ы:
http://www.tool.ru/catalog/ - ходит
http://www.tool.ru/cgi/view?type=fc&id=2495 - не ходит.
Прошло уже более двух месяцев с момента публичного открытия сайта. Робот уже неоднократно проверил страницы, доступные по ссылкам с главной (все они доступны в поиске), а также некоторые другие. А вот главный контент сайта он игнорирует. :-(