robots.txt или запрет индексации

Liave · 2009-02-05T23:56:38.0000000Z

Решил создать темку, думаю будет к стати. (советую прикрепить) 1)Файл robots.txt загоняется в корневую директорию. 2)Содержание можно посмотреть по ссылке ( http://help.yandex.ru/webmaster/?id=996567 ) или ниже. 3)Экспериментировать в создании robots.txt Вы можете тут . 4)После создания файла, и загрузки на сервер, удалите свой url тут Примечание: создайте robots.txt с таким содержанием, и сайт не будет индексироваться целиком. User-agent: Yandex Disallow:/ Для ленивых-ниже справочная инфа по заполнению. Директива User-agent. Управлять доступом робота Яндекса к вашему сайту вы можете при помощи файла robots.txt. Робот Яндекса поддерживает стандарт описания http://www.robotstxt.org/wc/norobots.html с расширенными возможностями, описанными ниже. В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует закачать робот. Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен. В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен. Использование директив Disallow и Allow. Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры: User-agent: Yandex Disallow: / # блокирует доступ ко всему сайту User-agent: Yandex Disallow: /cgi-bin # блокирует доступ к страницам начинающимся с '/cgi-bin' Примечание: Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами. Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки. Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры: User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin' Совместное использование директив. Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры, если: User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin' User-agent: Yandex Disallow: / Allow: /cgi-bin # запрещает скачивать весь сайт Директивы Allow-Disallow без параметров. Отсутствие параметров у директивы трактуется следующим образом: User-agent: Yandex Disallow: # тоже что и Allow: / User-agent: Yandex Allow: # тоже что и Disallow: / Использование спецсимволов "*" и "$". При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры: User-agent: Yandex Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx' и '/cgi-bin/private/test.aspx' Disallow: /*private # запрещает не только '/private', но и '/cgi-bin/private' Спецсимвол '$'. По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например: User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самое чтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например: User-agent: Yandex Disallow: /example$ # запрещает '/example', но не запрещает '/example.html' User-agent: Yandex Disallow: /example # запрещает и '/example', и '/example.html' User-agent: Yandex Disallow: /example$ # запрещает только '/example' Disallow: /example*$ # так же, как 'Disallow: /example' запрещает и /example.html и /example Директива Sitemap. Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml, в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все), примеры: User-agent: Yandex Allow: / Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml или User-agent: Yandex Allow: / User-agent: * Disallow: / Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml Робот запомнит пути к sitemaps.xml, обработает файлы и будет использовать результаты при последующем формировании сессий закачки. Директива Host. Если ваш сайт имеет зеркала, специальный робот зеркальщик определит их и сформирует группу зеркал вашего сайта. В поиске будет участвовать только главное зеркало. Вы можете указать его у всех зеркал при помощи robots.txt, используя директиву 'Host', определив в качестве ее параметра имя главного зеркала. Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом. Пример: #Если www.glavnoye-zerkalo.ru главное зеркало сайта, то robots.txt #для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием. #Пример корректно составленного robots.txt, при обработке которого директива Host учитывается User-Agent: * Disallow: Host: www.myhost.ru #Примеры некорректно составленных robots.txt, при обработке которых директива Host может не учитываться #1. User-Agent: * Host: www.myhost.ru #2. Host: www.myhost.ru #3. User-Agent: * Host: www.myhost.ru Disallow: #4. Host: www.myhost.ru User-Agent: * Disallow: Важно: параметр директивы Host обязан состоять из одного корректного имени хоста (т.е. соответствующего RFC 952 и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки 'Host:' игнорируются. # Примеры игнорируемых директив Host Host: www.myhost-.ru Host: www.-myhost.ru Host: www.myhost.ru:100000 Host: www.my_host.ru Host: .my-host.ru:8000 Host: my-host.ru. Host: my..host.ru Host: www.myhost.ru/ Host: www.myhost.ru:8080/ Host: http://www.myhost.ru Host: 213.180.194.129 Host: www.firsthost.ru,www.secondhost.ru Host: www.firsthost.ru www.secondhost.ru Примеры использования директивы Host: # domen.myhost.ru является главным зеркалом www.domen.myhost.ru , # тогда корректное использование директивы Host такое User-Agent: * Disallow: Host: domen.myhost.ru # domen.myhost.ru является главным зеркалом www.domen.myhost.ru , # тогда некорректное использование директивы Host такое User-Agent: * Disallow: Host: myhost.ru

Liave

7 февраля 2009, 15:07

#21

onigbinde:
to Liave
Здесь вопрос не в том актуальна информация или нет, а в том - скольки людям она здесь актуальна. Обьем информации по сео очень большой и если каждый сейчас начнет копировать полезности из общедоступных источников - то форум просто утонет.

Наибольшая польза была бы если бы Вы сами разобрались в этом вопросе и потом помогали новичкам в их проблемах :)

так я тут не сижу..... )

неудастся поэтому к сожалению

kimberlit:
Ну, ты то точно под это определение не попадаешь ...

собрание балаболов....

а у меня рейтинг вышеее !! я кручееее !!!

Что делать, чтобы попасть в ответы Google Bard

VK приобрела 70% в структуре компании-разработчика red_mad_robot

robots.txt или запрет индексации