Когда он мне был нужен, это по закону можно было только грекам (во всяком случае, так мне было проще сделать, т.к. вникать не было времени). Поэтому, пришлось в аське найти такого кадра, перевести ему денег, чтобы зарегал нужный домен на себя. Как сейчас с этим - не знаю. Делал через www.gr. Вроде бы и сейчас оно есть, только называется https://grweb.ics.forth.gr/
Как уже сказал Serboy, строчки
User-agent: *
Disallow: /
запрещают индексацию всего сайта всем, что странно.
Вернее было бы написать примерно так:
User-agent: Yahoo! Slurp
User-agent: msnbot
и т.д. (определитесь со списоком ботов, которые Вам не нужны)
Проще всего сделать это, посмотрев статистику по юзерагентам за месяц (кто много качает, того и запрещать в robots.txt).
Блокировать буржуйскую поисковую мелочь - полезно, т.к. с них пользы нет, а трафик кушают. Но этого иногда мало. Тогда может быть ещё такое дело: смылшёные товарищи делают сайты, которые налету дёргают контент с других сайтов. Короче, можно заметить, что с определённого IP-адреса (кстати, адреса хостера) начинают активно качать Ваши страницы. Недолго поглядев, можно найти, какой именно дор питается Вашим контентом. Но толк не в том, что найти дор, а в запрете для данного IP - и трафик экономится (часто, буржуйский), и дор гробится.
Да и вообще, надо ставить простенькие антифлудеры, чтобы в автоматическом режиму убивать. Я делаю примерно так: все, кто не поисковый робот, если сделали больше 10 запросов к html-странице за секунду, больше 100 запросов за минуту или больше 3000 запросов за час, попадают в бан на 10 секунд, 10 минут и 10 часов соответственно. Такой способ худо-бедно защищает от начинающих воров контента, хотя смысл, конечно, в другом.
Недавно видел такую ошибку: на странице была ссылка на "режим для печати", устроенная так:
<a href="CURL?print=1">print</a>, где CURL - текущий адрес. По ошибке программиста эта ссылка была и на самой странице для печати. В результате, роботы лезли на адреса
site.ru/?print=1
site.ru/?print=1?print=1
site.ru/?print=1?print=1?print=1
и т.д.
И это было для всех страниц сайта! :)
Короче, индексировалось всё медленно и находилось плохо, т.к. роботам приходилось качать много одинаковых страниц, а потом ещё и убивать дубли. Может и у Вас что-нибудь похожее сделано? Такую ошибку легко найти, посмотрев, чего именно качают пауки.
Продолжим боянить :)
Наберите в русской раскладке "абыр" (из "Собачьего сердца" - рыба глазами собаки). Получите "f,sh" - почти fish. Хороший способ переводить с языка русско-собачьего на человече-английский.
Почему же? Склейка - дело нужное.
Строчка Host в robots.txt - для яндекса, а гугл не неё не смотрит.
Да, и ещё одна мысль: можно пойти в поиск по форуму и дать запрос "склейка", указав, что искать надо только в заголовках тем - там есть весьма содержательные обсуждения.
Miracle, ПС - это поисковая система.
Host в robots.txt обеспечит склейку только в яндексе.
По поднятой Вами теме читайте о "301-ом редиректе".
Это, как я понимаю, стандартная практика. Я последний год тоже обналичиваю свои webmoney 1к1, т.к. знаю людей, которым они нужны (интересно, зачем :))
Лучше со слэшем.
Это особенно осмысленно для внутренних страниц, т.к. при обращении к site.ru/dir происходит редирект на site.ru/dir/, что добавляет целый лишний шаг, а это уже замедляет работу и браузеру, и роботу.
Да я так думаю, что на нас довольно-таки пофиг. В том смысле, что прорвёмся.
Особенно плохо в этом другое: мне тут одна девочка в откровенном разговоре поделилась мыслями, почему она не хочет детей. Так и говорит, что страшно рожать в России - "а вдруг мальчик будет". Вот, блин, дожили.
Так и будет две "близкие" страны: Китай - страна мальчиков, а Россия - страна девочек. Потому что матери своих мальчиков будут увозить кто куда сможет.
