- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть такой роботс (см.ниже), но яндекс индексирует. Где у меня ошибка?
User-Agent: Yandex
Host: www.domen.ru
User-agent: *
Disallow: /
Disallow: /ru/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /tag/*
Disallow: /blog/*
Disallow: /feed/*
Sitemap: /sitemap.html
но яндекс индексирует
Чего индексирует?
Вроде взрослый человек.
http://help.yandex.ru/webmaster/?id=996567
Первая же строка (disallow: /) говорит роботу (в данном случае всем поисковым роботам), что запрещена индексация ВСЕГО сайта, включая главную страницу.
Первая же строка (disallow: /) говорит роботу (в данном случае всем поисковым роботам), что запрещена индексация ВСЕГО сайта, включая главную страницу.
И Яндексу что ли?
Вот к примеру валидный robots.txt для всех роботов:
User-agent: *
Disallow: /ru/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /tag/*
Disallow: /blog/*
Disallow: /feed/*
Sitemap: http://www.domen.ru/sitemap.xml
Host: www.domen.ru
И Яндексу что ли?
Ну, учитывая, что они не так давно переработали правила обработки роботс.тхт, то нет. Он, по идеи, должен смотреть только на те строки, которые указаны именно для него... Но мое мнение: чем файл проще, тем ниже вероятность того, что поисковый робот воспримет что-то неверно, посему уменя он создан для всех роботов сразу. Директива с указанием хоста гугл вообще не беспокоит.
Чего индексирует?
Вроде взрослый человек.
http://help.yandex.ru/webmaster/?id=996567
Но вроде как есть и такая директива:
User-agent: *
Disallow: /
Но вроде как есть и такая директива:
User-agent: *
Disallow: /
Мой последний пост перечитай.
а вот и вырезка из справки, ссылку на которую дали выше.
---------- Добавлено 09.04.2012 в 09:36 ----------
Кстати, Яндекс ведь дает все инструменты для проверки роботс. тхт... Я вот не поленился и решил проверить Ваш роботс.тхт. и вот что у меня получилось.
robots.txt такого вида:
Дает следующие ответы на доступ:
Если robots.txt такой:
ответ такой:
Фантастика, правда? =)
робот яндекса прочитал первые 2 строки
User-Agent: Yandex
Host: domen.ru
и дальше не читает, так как там начинается блок для других роботов
надо было либо один блок со звездочкой делать, либо 2 блока с полными инструкциями
ок, спасибо, понял
ок, спасибо, понял
порекомендую полезную статью по роботсу - http://joomlaforum.ru/index.php/topic,193446.0.html