Поиск позиций сайтов в поисковиках

http://search.rambler.ru/robots.txt :

User-agent: *

Disallow: /

Это означает, что никакая программа не должна туда лазить, в том числе и ваша.

Поправка: автоматическая программа.

То есть когда броузер лезет туда это нарушение лицензии?

Kost,

Намек понят ;)

Трудно быть "вежливым ботом"...

Muxa,

robots.txt - это не для браузера, а для роботов. Вероятно Kost под "программой" подразумевал именно ботов.

увы... приступы телепатии случаються у меня нечасто :))

а вот если он захочет дать определение термина "робот", то это будет очень интересно и познавательно обсудить...

я вот хотю сваять себе скриптик который бы с моей рабочей машины лазал по рамблеру.. и потому размышляю на эту тему

Робот - это программа, при заходе которой никто не смотрит рекламу на Рамблере ;).

Да вроде как уже все давным-давно обсудили.

Kost,

5 баллов, хорошее определение! 😆

Muxa,

Сваять можно, но забанить при желании тебя имеют право. Впрочем, и про лозунг "всех не перебанишь" тоже не надо забывать...

На самом деле все это вилами по воде писано, и грубо говоря никто никому ничего не обязан соблюдать. Но "с волками жить - по-волчьи выть", со всеми вытекающими ;)

Отослал в приват

Сервис интересный, только Rambler криво все видит.

И конечно русскоязычных поисковиком можно было добавить.