- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Если у меня в роботсе прописано такое
User-Agent: *
Host: www.мой_домен.ru
Disallow: /mks/
Disallow: /profile.html
Disallow: /forum.html
Disallow: /forum/
Disallow: /c-l/submit.php
То как сделать запрет только для yahoo? Просто ниже добавить следующее
User-Agent: yahoo! slurp
Disallow: /
Или это неправильно воспримется поисковиками?
Неужели так сложно найти:
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html
User-Agent: slurp
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
Извините, не правильно задал вопрос. Как запретить к индексации yahoo весь сайт, а остальным поисковикам только то, что написано в начале.
Алексей ИР
User-agent: Slurp
Disallow: /
Потом секция для остальных поисковиков
User-agent: *
и т.д.
User-Agent: *
Host: www.мой_домен.ru
Disallow: /mks/
Disallow: /profile.html
Disallow: /forum.html
Disallow: /forum/
Disallow: /c-l/submit.php
В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow').
В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow').
В смысле таким образом?
Disallow: /mks/
Disallow: /profile.html
Disallow: /forum.html
Disallow: /forum/
Disallow: /c-l/submit.php
User-Agent: *
Host: www.мой_домен.ru
Алексей ИР добавил 16.06.2009 в 22:36
User-agent: Slurp
Disallow: /
Потом секция для остальных поисковиков
User-agent: *
и т.д.
а не получится ли так, как например в программировании, если присваиваем переменной значение, потом опять переприсваем значение, останется последнее.
В смысле таким образом?
Нет.
В соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.
Алексей ИР,
Disallow: /mks/
Disallow: /profile.html
Disallow: /forum.html
Disallow: /forum/
Disallow: /c-l/submit.php
Host: www.домен.ru
User-Agent: Slurp
Disallow: /
User-Agent: *
Disallow: /mks/
Disallow: /profile.html
Disallow: /forum.html
Disallow: /forum/
Disallow: /c-l/submit.php
Я, конечно , извиняюсь, что не совсем по теме !
ТС ,интересно, а чем вас так пугает робот Яхо ?
Мне , дя я думаю многим, было бы интересно сделать так, чтобы Яхо моих бэков всем не показывал.
а не получится ли так, как например в программировании, если присваиваем переменной значение, потом опять переприсваем значение, останется последнее.
В случае в robots.txt не получится. Есть же правила составления, информации куча.