Почему Гугль меня не любит?

м-да, во-первых 9 июня не есть давно, а во-вторых я бы тоже на 403 (Forbidden) при обращении к robots.txt обиделся.

А-а! Пардон... Тема другая была. Можно ли пустой robots.txt выкладывать?! Не повлияет ли это отрицательно на что-нить?

И еще.

Хотел доводы в пользу выдачи ошибки 403 вместо 404 выслушать при отсутствии запрашиваемого файла. Апач так настроен у провайдера, что выдает Forbidden вместо Not Found, если файла действительно нет. Объясняется просто и логично - это гораздо более безопасно с точки зрения защиты сайта. Вот и вопрос - а с точки зрения всего остального?!

Ну а 9 июня - эт я лог последний взял просто. На самом деле такая фигня давно уже...

Так.

403 в ответ на запрос robots.txt - это однозначно баня. Разбирайся с провайдером.

Можно. Потому что что не запрещено, то разрешено.

В общем, ситуация такая: на одни страницы ходит, смотрит. Но вот на основной контент - фигу. С чем это может быть связано?

Вот конкретный URL'ы:

http://www.tool.ru/catalog/ - ходит

http://www.tool.ru/cgi/view?type=fc&id=2495 - не ходит.

Прошло уже более двух месяцев с момента публичного открытия сайта. Робот уже неоднократно проверил страницы, доступные по ссылкам с главной (все они доступны в поиске), а также некоторые другие. А вот главный контент сайта он игнорирует. :-(

насколько я помню, обсуждалось, что Гугль заходит на 1 уровень в динамические страницы, а ссылки с динамики игнорирует(т.е., не ходит по ним). Может, это твой случай?

Хм. Первый раз об этом слышу. И вообще, я приложил максимум усилий для того, чтобы эта динамика притворялась статикой.

bk_man

Может, со слухом что-то? :)

Максимум усилий, говоришь, приложил? Ну-ну. Осталось только как-то это рассказать роботам, может, поведутся хоть на слова - на сайт вестись нечего.