webrings. Кажется так это называется.
супер вопрос! почему только в личку :( мне тоже очень интересно.
ЗЫ: если уж в личку то можно и мне сс
решил остановиться на activehost.ru.
может кто скажет чего плохого пока не поздно :)
Спасибо большое
похоже закрытая тема?
тогда может кто скажет что-то по поводу freehost.com.ua и a4h.ru
ну где же вы, профи!
там столько вопросов, которые и мне интересны (возможно, и не только)
неужели эта тема так проста и бональна. тогда может линк какой, чтоб почитать.
ps: sorry за эмоции :(
Всем спасибо, разобрался.
За матчасть особенно.
так в том и дело, что нет таких ссылок. есть одна страница (одна ссылка) которая в зависимости от Accept-Language выдает ту или иную локализацию.
а можно ли вообще добавлять в каталог более чем одну страницу с сайта?
а
Host: www.*****.ru
означает что индексируются только сайты рунета?
тогда для других зон есть другие роботы?
и еще в моем случае получается, что надо каждую локализацию вешать на отдельный домен?
ps: это для ясности
Управление индексацией
Оглавление документа
Файл robots.txt
МЕТА тэг <Robots>
Есть два способа влияния на роботов поисковых машин: файл robots.txt и META тэг ROBOTS.
Единственное, что может делать файл robots.txt – это закрывать от индексации файлы и каталоги. Делать это может выборочно, ориентируясь на имена роботов поисковых машин. Если проект предназначен для индексации поисковыми машинами, присутствие файла robots.txt в корневой папке сайта обязательно.
Закрывать от индексации имеет смысл скрипты, архивы, графические файлы, а также часто изменяемые страницы.
Имя файла robots.txt должно состоять из строчных букв (нижний регистр). Файл должен находится в корневом каталоге сервера. Файл с именем robots.txt, находящийся в других каталогах или содержащий буквы верхнего регистра, будет проигнорирован.
Файл robots.txt формируется из записей, по две строки в каждой. Первая строка содержит имя робота, вторая – перечень закрываемых каталогов и/или страниц. Имена каталогов и файлов на сервере рекомендуется всегда писать в нижнем регистре, в последствие не нужно будет угадывать, как набирать адрес.
Пример записи, которая ничего не запрещает:
User-agent: * #относится ко всем роботам
Disallow: #никаких запретов
Звездочка в строке User-agent говорит, что эта запись относится ко всем роботам. Строка Disallow не содержит записей, что означает отсутствие запретов.
Запрещается использовать символы множественного выделения (например, *.gif) в строке Disallow:
Пример записи, запрещающей всё и всем:
User-agent: *
Disallow: /
Первая строка говорит, что данная рекомендация относится ко всем роботам. Вторая строка блокирует (рекомендательно) доступ ко всем файлам и каталогам сервера.
В строке User-agent вместо звездочки могут быть указаны имена конкретных роботов.
Тогда запрещающий тег будет выглядеть так:
User-agent: Yandex
User-agent: googlebot
Для роботов Yandex и googlebot доступ на сервер закрыт, для всех остальных роботов ограничений нет.
Пример запрета индексации файлов в служебных каталогах (новый стандарт):
User-Agent: *
Disallow: /cgi-bin/
Disallow: /img/
Disallow: /news/img/
Каталоги и файлы перечисляются построчно.
Можно накладывать ограничения на отдельные файлы и группы файлов:
Disallow: /my/my.html
Disallow: /docs/mydoc.html
Disallow: /art/my
Последняя строка примера запрещает индексацию всех файлов, расположенных в каталоге /art/, имена которых начинаюся с my
META тег ROBOТS может управлять индексацией только той страницы, на которой он прописан. Значение тэга Robоts может состоять из следующих директив, разделенных запятыми:
Index – эта страница должна быть индексирована.
Noindex – эта страница не должна индексироваться.
Follow – прослеживать гиперссылки на странице.
Nofollow – не прослеживать гиперссылки на странице.
All – index, follow (по умолчанию).
None – noindex, nofollow.
Тег <META name=Robоts content="all"> ничего не меняет в работе робота поисковой машины, так как значение “all” принято по умолчанию. Но если эта страница создается динамически или очень часто обновляется, то нет смысла ее индексировать, так как информация о странице в поисковой машине и ее истинное содержание будут разными.
В этом случае можно рекомендовать поисковой машине не индексировать эту страницу, а только отслеживать на ней гиперссылки, чтобы проиндексировать остальную часть сайта: <META name=Robоts content="noindex,follow">.
При использовании тега, запрещающего отслеживание гиперссылок <META name=Robоts content="index,nofollow"> часть сайта может остаться не проиндексированной, так как внутри сайта роботы перемещаются по гиперсылкам. И те страницы, переход на которые заблокирован, роботы найти не смогут.
META-тэг Robots имеет приоритет над директивами управления, заданными в файле robots.txt. То есть, если директивы управления в файле robots.txt разрешают индексировать все файлы в каталоге, то блокирующий META-тэг может запретить индексирование страницы, находящейся в этом каталоге. Обратное невозможно, так как робот просто не узнает, что рекомендует META тег странички в заблокированном каталоге.
Не все роботы воспринимают директивы META-тега ROBOTS в полном объеме. В основном возникают проблемы с директивами Follow и Nofollow.
ps: это не мое, где-то взял, а где не помню :(
