Cossack

Cossack
Рейтинг
279
Регистрация
17.12.2002

absolut, ты бы сделал тест-accounts ;).

Спасибо за то, что в очередной раз переврал мои слова. В остальном я не сомневался.

Алексей, мне все ясно было где-то с января-февраля. Когда ты не выполнил свое обещание. Сейчас вместо обсуждения темы ты пытаешься мочить не думая.

Топ у Рамблера на отдельном IP => 81.19.66.4, который редиректит на top100.rambler.ru/top100 [ rambler.ru => 81.19.66.50 ], посмотреть это может даже школьник ;)... Robots.txt для top100.rambler.ru/top100 - я привел ;), но как они настроили в деталях я не знаю, и когда были изменения тоже.

Ладно, продолжение бессмысленно, потому как тут пошло пихание пузиками, а не разговор о деле. Пойду с funnybunny водки выпью.

Комментарии излишни ;)... я думаю, ты помог людям победить невежественность ;), ибо 1 домен не всегда означает 1 сервер и тем более не одна корневая директория [ при желании ].

Disclaimer: Я не знаю, как настроен Рамблер ;).

Интересная музыка... а корень всегда domain.tld ?

В Guidelines есть такой абзац:


In order to save bandwidth Googlebot only downloads the robots.txt file once a day or whenever we have fetched many pages from the server. So, it may take a while for Googlebot to learn of any changes that might have been made to your robots.txt file. Also, Googlebot is distributed on several machines. Each of these keeps its own record of your robots.txt file.

-=Илья=-, жаль, но проверку запустил, подождем, оно того стоит.

O'k, поправил на "положил". В корне не трогаю для чистоты опыта ;).

Interitus, давай проверим: положил файл robots.txt во russian.cossack.org.uk/computers:


User-agent: *
Disallow: /

и можно ходить и смотреть. Сейчас там 2 страницы и 3 старых ссылки в индексе. В google.com/addurl.html закинул ;).

З.Ы. Выдумки не мои, а данном и конкретном случае - Рамблера, см. пред. посты.

mathematician: The probability that the random surfer visits a page is its PageRank.

Чем ближе к "корню", тем больше шансов, тем больше "вес" ссылок на документ, но оно не значит, что больше посетителей ;).

Это что за бред еще? robots.txt согласно стандарту, соблюдаемому всеми известными поисковиками, находится только в корне домена ('This file must be accessible via HTTP on the local URL "/robots.txt".' и т. п., http://216.239.41.104/search?q=cach...obots.txt&hl=en).

Interitus, URL не = домен ;). Корень сайта может быть по адресу: domain.tld/something/ ;).

Стандарт позволяет ;).

Однако, я слышал слухи, что не все поисковики берут robots.txt за пределами domain.tld, но в Google полно примеров, подтверждающих, что такие файлы он находит, в принципе можно и протестировать ;).

-=Илья=-, дай посмотреть - может поймем ;).

-=Илья=-: Козак, неужели ты не видел тонны лежащих в кэше страниц умерших сайтов и ссылок с них?

А слабо проверить какая из них учитывается ;)? В принципе, если внимательно прочесть Google Guidelines можно найти ответы, более того там есть и про перенос сайта/ссылки ;).

Всего: 5991