Дело в том, что как только ко мне заходит поисковик, то поток посетителей увеличивается. Сл-но более глубокая индексация=>привлечение посетителей. Новый контент выкладывается более или менее регулярно.
Все-таки меня интересует вопрос будет ли Яндекс индексировать документы на других поддоменах?
Что такое breaking news?
Будет ли Яддекс индексировать новости из других поддоменов?
Пока сайт только начинает набирать обороты. Вы предлагаете решение лежащее на поверхности. В связи с этим встает другие вопросы:
1. Если у меня есть поддомен arhiv.mysite.ru, в нем ссылки на страницы архива за день. Они, в свою очередь, ссылаются на страницы новостей (Которые находятя в других поддоменах!). Будет ли Яндекс индексировать эти страницы новостей?
2. Заходя на головную страницу раздела (поддомен раздела) робот будет индексировать только ТОП5 раздела, т.е. только последние 5 новостей в этом поддомене, что ни есть гуд при условии захода робота 1 раз в неделю... Как тогда скормить ему остальные новости этого раздела? Создавать специальные страницы? и опять же, будет ли Яндекс индексировать страницы других поддоменов при заходе в какой-либо поддомен?
Что скажите по поводу разбивки сайта на поддомены типа имя_раздела.mysite.ru?
2 Interitus,
Значит, что когда я указываю
GET /top100.cnt?my_id HTTP/1.1\n
HOST:counter.rambler.ru\n
Accept: */*\n
Referer: http:://my_host.ru/client/error.html\n
User-Agent: Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)\n
Connection: close\n
И эта страница проиндексирована в rambler'e то к счетчику страницы не прибавляется 1
И еще вопрос: как прописать cookie?
А как надо прописывать Referer?
Вопрос может и тупой, но прописывание типа
...
Referer: http://my_host.ru/page.html
не катит.... может фишка какая есть?
Interitus,
А как устанавливается переменная окружения REMOTE_ADDR? Какой механизм?
если можно, то в студию! ;)
Большое спасибо за ответ, все заработало.
Если не трудно, то поясните в чем неточность или неопределенность в моем вопросе?
А кто-нибудь реально сталкивался с подобным?
Что роботы могут не смотреть robots.txt это понятно, т.к. это только рекомендации. Но, насколько я понимаю, это так же и правила хорошего тона, корректность что-ли... Кто-нибудь встречался с "некорректным" поведением роботов поисковиков? В частности, интересует Яндекс.
