На всяк случай урлы все таки перелопатил и сделал их короткими. Но вот последнее время замечаю в логах вот такую фишку
213.180.216.253 tekknow1.valuehost.ru - [16/Dec/2004:15:13:40 +0300] "GET /robots.txt HTTP/1.1" 200 15 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.216.253 tekknow1.valuehost.ru - [16/Dec/2004:15:13:41 +0300] "GET / HTTP/1.1" 200 3336 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.216.6 tekknow1.valuehost.ru - [16/Dec/2004:15:14:36 +0300] "GET /robots.txt HTTP/1.1" 200 15 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.216.6 tekknow1.valuehost.ru - [16/Dec/2004:15:14:44 +0300] "GET /robots.txt HTTP/1.1" 200 15 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.216.6 tekknow1.valuehost.ru - [16/Dec/2004:15:14:52 +0300] "GET /robots.txt HTTP/1.1" 200 15 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.216.6 tekknow1.valuehost.ru - [16/Dec/2004:15:15:07 +0300] "GET /robots.txt HTTP/1.1" 200 15 "-" "Yandex/1.03.003 (compatible; Win16; D)"
213.180.216.6 tekknow1.valuehost.ru - [16/Dec/2004:15:17:48 +0300] "GET /robots.txt HTTP/1.1" 200 38 "-" "Yandex/1.03.003 (compatible; Win16; D)"
чтобы это значило? При чем за день может не один раз повториться.
Ну с урлами все понятно, в чем же тогда соль?
Блин, а в чем же тогда причина, почему они доходят до моего сайта, причем яндекс каждый день заходит, и не индексируют?
На всякий случай я почти везде урлы уже сделал короткими, осталось немного побороть.
Самое интересное, что у сайта есть 2 версии, русская и английская, дк вот Гугл проглотил всю английскую версию, ее я кстати вообще не оптимизировал.
Спасибо Shurello за подсказку, я попрбую, но у меня появились еще некоторые мысли по этому поводу.
Мне интересно, может ли как-нибуть отрицательно реагировать поисковики, когда они видят такого рода урл-ы?
А иначе у меня не получается вставить название титла, код не позволяет, т.к. верхняя и левая часть постоянные, а середина, где основной контент, динамическая...
А ой как хочется чтобы каждая страница имела свое название в титле...
Можно ли как нить передавая название в урл избавиться от такого хвоста? И на сколько такой хвост плох для поисковиков, и может ли из-за этого не происходить индексация? 😕
