- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Спасибки за ответы =)
Если стрнаица уже запрещена для индексации в роботс нужно ли её заключат в тег ноиндекс или это уже масо масляное?
Android, не надо заключать.
AVV, можно ещё короче ;)
Спасибо. Я знаю. Это я написал, как общий шаблон. Вдруг Android потребуется закрыть разные страницы для разных user_agent и дописать их в эти правила конкретно для Гугля, Яндекса и др. роботов. То есть - общие правила для всех, плюс какие-то еще отдельные страницы для Яндекса, а какие-то для Гугля.
В любом случае, любая подсказка или совет не отменяет необходимости думать самостоятельно. :)
Директива
Disallow: /abc
Запрещает индексацию всех директорий и файлов, имена которых начинаются на "abc".
Если об этом помнить в тот момент, когда вы придумываете вид своих URL, то можно с помощью нескольких строк в robots.txt управлять индексацией больших сайтов.
Директива Host придумана в Яндексе и для большинства роботов неизвестна, поэтому лучше, от греха подальше, использовать ее так как вам предлагает FlyAway. Ибо в официальной спецификации ее нет как нет и надежды на то, что она там когда-нибудь появится.
AVV, можно ещё короче ;)
User-agent: Yandex
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad
Disallow: /bad2
Host: www.my.ru
User-agent: *
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad
Disallow: /bad2
гугль не нужно писать отдельно, для него работает юзер-агент для всех - *
Толькошто заметил, получается что .html и .php писать не надо?
Если на сайте только файлы bad.php и bad2.php
и нет файлов c таким же именем, и другим расширением, например, bad.html и bad2.html, которые нужно открыть для роботов, то не надо.
Disallow: /bad
Disallow: /bad2
закрывает для индексации все файлы, начинающиеся с /bad и /bad2, в том числе и /bad.php и /bad2.php
Пара замечаний без цитирования
1) Нельзя совмещать User-Agent: * с непустыми директивами Disallow и директивой Host - в частности гугль игнорирует всю запись как не верную
2) Найдя свои имя в User-Agent роботы игнорируют другие записи. Халява не прокатывает. Если нужно запретить, скажем, для Гугля всё тоже самое, что и для всех остальных поисковиков, но для него сделана отдельная запись, то придётся продублировать все запрещающие директивы персонально для Гугля.
Disallow: /bad
Disallow: /bad2
Вторая запись в этом примере лишняя, так как первая запрещает индексацию всех документов, адреса которых начинаются на /bad
Вторая запись в этом примере лишняя, так как первая запрещает индексацию всех документов, адреса которых начинаются на /bad
В данном случае, да, лишняя.
andrej-ilin,
Оцените пожалуйста, правильно ли я понимаю -
Для сайтов на русском языке.
Для правильной склейки сайтов на бесплатных хостах, у которых нет доступа к
файлу .htaccess , нужно все ссылки прописать абсолютным путем. Ссылки
должны быть вида :
<a href="http://www.site.ru/page1.html">...</a>
A в файл robots.txt введите директиву Host и укажите главным именно
зеркало www.site.ru
Если сайт новый , не надо его регистрировать в поисковиках. На 11-20 бесплатных досках, пробиваемых по Гуглу и Яндексу поместить обьявления с сылкой вида
<a href="http://www.site.ru">Название сайта</a>
Также можно зарегистрироваться в 11-20 белых каталогах , но не с самыми
высокими PR и тИЦ . Перед регистрацией обязательно проверьте, какие ссылки обычно там ставят.
Через пол года внутренние ссылки можно укоротить до вида
<a href="/page1.html">...</a>
Но ссылки "На Главную" лучше оставить с абсолютным путем.
Встречаются утверждения, якобы для Google обязательно нужно ставить 301 редирект.
Однако я считаю, что и без него можно прекрасно обойтись, у всех роботов есть свои механизмы склейки зеркал.
Робота Yandex "зовут" Yandex
Робота Рамблера "зовут" StackRambler
Робота Aport "зовут" Aport
Робота Google "зовут" Googlebot
Робота AltaVista "зовут" Scooter
HotBot и MSN используют поисковый робот Inktomi, он называется Slurp
Другие поисковики менее популярны.
Может быть данный пример robots.txt можно урезать, но в таком
виде у вас гарантированно не будет проблемм.
User-agent: Googlebot
Disallow: /
User-agent: Scooter
Disallow: /fale/
Disallow: /fale2
User-agent: Slurp
Disallow: /fale/
Disallow: /fale2
User-agent: StackRambler
Disallow: /fale/
Disallow: /fale2
User-agent: Aport
Disallow: /fale/
Disallow: /fale2
User-agent: Yandex
Disallow: /fale/
Disallow: /fale2
Host: www.site_url.ru
User-agent: *
Disallow: /fale/
Disallow: /fale2
А проблемы могут возникнуть из за месторасположения секции со звездой.
Не все роботы прваильно поддерживают стандарт.
Есть еще один способ склейки , - для Аппача можно написать маленикий SSI скрипт.
Подскажите, как этот метод работает? Универсален ли он?
Заранее благодарю за ответ.