Lisa: спасибо за подробные разъяснения. Значит можно не дергаться %=))
да вроде по-правильному. Снифер показывает вот что:
GET /politica/view8097.html HTTP/1.1
User-Agent: Opera/8.5 (X11; Linux i686; U; en)
Host: www.arsvest.ru
Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Language: ru,en;q=0.9
Accept-Charset: windows-1251, utf-8, utf-16, iso-8859-1;q=0.6, *;q=0.1
Accept-Encoding: deflate, gzip, x-gzip, identity, *;q=0
If-Modified-Since: Sun, 13 Nov 2005 23:16:07 GMT
Cookie: user_id=112862865611837; user=1; email=
Cookie2: $Version=1
Connection: Keep-Alive, TE
TE: deflate, gzip, chunked, identity, trailers
HTTP/1.1 301 Moved Permanently
Date: Wed, 16 Nov 2005 22:12:45 GMT
Server: Apache
Location: /archive/issue661/politica/view8097.html
Expires: Thu, 01 Jan 1970 00:00:01 GMT <-- поисковикам этот заголовок не показывается (на всякий случай)
Content-Length: 0
Content-type: text/html; charset=windows-1251
Не понимаю я что-то, зачем яндексу бороться с тем что определено в стандартах? Да, сделано было по дурацки, но все-же в соответствии со стандартами. А поисковики, ИМХО, должны не бороться с чем-то, а предоставлять качественный поиск, который не сможет быть качественным если они будут бороться с такими распространенными явлениями...
Спасибо за ответ. По дурацки как-то у этих поисковиков устроено... :( В общем-то я уже переделал чтобы статьи сразу открывались по постоянному адресу, но блин жалко архива за несколько лет :(((
А вот можно ли написать в Яндекс, чтобы они для этого сайта засчитывали внутренние редиректы или бесполезно это? Могут они войти в положение и сделать такое исключение?
Если речь идет только о гугле, то чем не устраивает <a href="http://www.example.com/" rel="nofollow"> ??
по моим логам видно, что "Mediapartners-Google/2.1" загружает страницу одновременно с ее загрузкой посетителем. Причем частенько загружает сразу два раза - это нормально?
кажется яндекс начал индексировать...
это для внутрисайтового поисковика.
пустые строки в robots.txt должны быть - http://yandex.ru/info/webmaster2.html
Контент большей частью уникальный, боты заходят.
Яндекс скачивает только robots.txt и корневую страницу, а гугль по нескольку раз в день закачивает одни и те же страницы:
http://www.arsvest.ru/news/
http://www.arsvest.ru/forum/
http://www.arsvest.ru/posidelki/
и т.д. но дальше не идет.
Хотя сами страницы гугль тоже знает - http://www.google.ru/search?q=site:www.arsvest.ru+filetype:html&hl=ru&lr=&start=0&sa=N - находит 756 страниц (но на самом деле их на сайте несколько тысяч)
