- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
http://www.ysearchblog.com/archives/000372.html
Добавлена поддержка * и $.
* означает любой набор символов
$ используется как знак конца URL
Пример 1
1) Разрешает индексацию всех каталогов, начинающихся с 'public', например, '/public_html/' или '/public_graphs/'.
2) Запрещает индексацию всех файлов и каталогов, содержащих html-документы и строку '_print' в URL, например, '/card_print.html' или '/store_print/product.html'.
3) Запрещает индексацию URL, содержащих '?sessionid'
Пример 2
Запрещает индексацию всех файлов, URL которых заканчивается на .gif
Интересно!
Плюсомёт не работает, жаль... :(
Вот только один вопрос возникает, почему бы всем этим новаторам не ввести вместо robots.txt, например, yahoo.txt или yandex.txt. И себе жизнь облегчат и стандарты нарушать не будут. А то в сложных проектах robots уже на несколько страниц тянет, из-за отдельного описания под каждый бот...
А то в сложных проектах robots уже на несколько страниц тянет, из-за отдельного описания под каждый бот...
А такой robots видели? :)
http://www.webmasterworld.com/robots.txt
(впрочем, баян баянистый)
А такой robots видели?
http://www.webmasterworld.com/robots.txt
фигасе... т.е понятно, что роботам они вот это дают http://www.webmasterworld.com/robots2
K. Ermakov, а зачем такая хитромудрость? Я имею в виду не сами манипуляции с robots.txt а именно то что они с ним сделали - какая то группа новостей прямо
K. Ermakov, Костя, введение Яндексом директивы Host привело к тому, что блок с такой директивой игнорируется Googlebot. Будет ли аналогичная ситуация в данном случае?
т.е понятно, что роботам они вот это дают http://www.webmasterworld.com/robots2
А если зайдёте с User-Agentом, например, Slurp, то и по адресу http://www.webmasterworld.com/robots.txt получите другой файл. Клоачат они бессовестно! :)
***
Каширин, с учётом поддержки Гуглом директивы Allow: и * с $, думаю, проблем не будет.
Это все, конечно, хорошо, но кооперативное движение начинает утомлять. Роботс.тхт уже каждая приличная машина читает как хочет, предлагая добавлять туда то, что она хочет. Мета-тэги у каждой со своими особенностями. Редиректы хотим понимаем, не хотим - не понимаем...
Конечно, не велика проблема для каждого бота писать отдельный блочок в роботс.тхт. Получится всего-то навсего
UA's:
Yandex
Rambler
Google
Yahoo
MSN (а на Live передадутся ВСЕ особенности?)
И для каждого знаков эдак по 500...
И толпа всяческой мелочевки. Если человек сравнительно в рынке, то нет вопросов. А толпа веб-мастеров тупо напишут роботс.тхт по стандартам, на которые, оказывается, давным давно забили все, кому не лень.
Кто-нибудь вообще обновит стандарты хоть когда-нибудь? Тем более, что если искалки устроили всю эту пионэрию, значит, проблема действительно существует...
А народ на вебмастерворлде просто стебется со всего этого безобразия. Они ж там еще и тэг google pray когда-то лепили:)