Как писал funnybunny onegin, если основной целью создания поддоменов является более глубокая индексация, это не совсем правильное решение.
Стоит задуматься над популяризацией ресурса, привлечь посетителей, выкладывать регулярно новый контент и т.д.
Только после этого возможно стоит расчитывать на более менее приличную индекацию, но это IMHO
Дело в том, что как только ко мне заходит поисковик, то поток посетителей увеличивается. Сл-но более глубокая индексация=>привлечение посетителей. Новый контент выкладывается более или менее регулярно.
Все-таки меня интересует вопрос будет ли Яндекс индексировать документы на других поддоменах?
Как писал funnybunny onegin, если новостей действительно много, в отдельный поддомен их, это раз, второе, если архив того стоит и действительно постоянно пополняется и объемистый и инфы полно, то и его в отдельный
Пока сайт только начинает набирать обороты. Вы предлагаете решение лежащее на поверхности. В связи с этим встает другие вопросы:
1. Если у меня есть поддомен arhiv.mysite.ru, в нем ссылки на страницы архива за день. Они, в свою очередь, ссылаются на страницы новостей (Которые находятя в других поддоменах!). Будет ли Яндекс индексировать эти страницы новостей?
2. Заходя на головную страницу раздела (поддомен раздела) робот будет индексировать только ТОП5 раздела, т.е. только последние 5 новостей в этом поддомене, что ни есть гуд при условии захода робота 1 раз в неделю... Как тогда скормить ему остальные новости этого раздела? Создавать специальные страницы? и опять же, будет ли Яндекс индексировать страницы других поддоменов при заходе в какой-либо поддомен?
Как писал AiK Запросто. Один паук спрашивает robots.txt, а другой в соответствии с ним страницы обходит. IP могут быть разные, UA как правило "похожи с начала строки".
Однако, не всё то робот, что robots.txt запрашивает...
А кто-нибудь реально сталкивался с подобным?
Что роботы могут не смотреть robots.txt это понятно, т.к. это только рекомендации. Но, насколько я понимаю, это так же и правила хорошего тона, корректность что-ли... Кто-нибудь встречался с "некорректным" поведением роботов поисковиков? В частности, интересует Яндекс.
onegin, если основной целью создания поддоменов является более глубокая индексация, это не совсем правильное решение.
Стоит задуматься над популяризацией ресурса, привлечь посетителей, выкладывать регулярно новый контент и т.д.
Только после этого возможно стоит расчитывать на более менее приличную индекацию, но это IMHO
Дело в том, что как только ко мне заходит поисковик, то поток посетителей увеличивается. Сл-но более глубокая индексация=>привлечение посетителей. Новый контент выкладывается более или менее регулярно.
Все-таки меня интересует вопрос будет ли Яндекс индексировать документы на других поддоменах?
Единственно правильной будет разбивка по тематике и выделение дополнительно breaking news.
Что такое breaking news?
Будет ли Яддекс индексировать новости из других поддоменов?
onegin, если новостей действительно много, в отдельный поддомен их, это раз, второе, если архив того стоит и действительно постоянно пополняется и объемистый и инфы полно, то и его в отдельный
Пока сайт только начинает набирать обороты. Вы предлагаете решение лежащее на поверхности. В связи с этим встает другие вопросы:
1. Если у меня есть поддомен arhiv.mysite.ru, в нем ссылки на страницы архива за день. Они, в свою очередь, ссылаются на страницы новостей (Которые находятя в других поддоменах!). Будет ли Яндекс индексировать эти страницы новостей?
2. Заходя на головную страницу раздела (поддомен раздела) робот будет индексировать только ТОП5 раздела, т.е. только последние 5 новостей в этом поддомене, что ни есть гуд при условии захода робота 1 раз в неделю... Как тогда скормить ему остальные новости этого раздела? Создавать специальные страницы? и опять же, будет ли Яндекс индексировать страницы других поддоменов при заходе в какой-либо поддомен?
Что скажите по поводу разбивки сайта на поддомены типа имя_раздела.mysite.ru?
2 Interitus,
Значит, что когда я указываю
GET /top100.cnt?my_id HTTP/1.1\n
HOST:counter.rambler.ru\n
Accept: */*\n
Referer: http:://my_host.ru/client/error.html\n
User-Agent: Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)\n
Connection: close\n
И эта страница проиндексирована в rambler'e то к счетчику страницы не прибавляется 1
И еще вопрос: как прописать cookie?
А как надо прописывать Referer?
Вопрос может и тупой, но прописывание типа
...
Referer: http://my_host.ru/page.html
...
не катит.... может фишка какая есть?
Interitus,
А как устанавливается переменная окружения REMOTE_ADDR? Какой механизм?
Могу проконсультровать по поводу технологии безбанного клоакинга.
если можно, то в студию! ;)
Большое спасибо за ответ, все заработало.
Если не трудно, то поясните в чем неточность или неопределенность в моем вопросе?
Запросто. Один паук спрашивает robots.txt, а другой в соответствии с ним страницы обходит. IP могут быть разные, UA как правило "похожи с начала строки".
Однако, не всё то робот, что robots.txt запрашивает...
А кто-нибудь реально сталкивался с подобным?
Что роботы могут не смотреть robots.txt это понятно, т.к. это только рекомендации. Но, насколько я понимаю, это так же и правила хорошего тона, корректность что-ли... Кто-нибудь встречался с "некорректным" поведением роботов поисковиков? В частности, интересует Яндекс.