- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Составил роботс следующего содержания:
User-agent: *
Disallow:
Host: catal0g.com
Сервис http://www.mrpower.ru/seo/index.php выдал, что сайт запрещён к индексации полностью.
Я правильно составил или допустил где-то ошибку?
User-agent: *
Disallow:
Host: catal0g.com
Директиву хост понимает только Яндекс
Сделайте так:
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: catal0g.com
Если запрещать нечего, следовательно, "общий" блок не нужен
П.С. Внимательно посмотрите, что именно запрещено к индексации. Прописывая директиву хост, Вы запрещаете индексацию всех алиасов/зеркал.
Да проверьте у яндекса:
http://www.yandex.ru/cgi-bin/test-robots?host=catal0g.com
Сервис http://www.mrpower.ru/seo/index.php выдал, что сайт запрещён к индексации полностью.
Я правильно составил или допустил где-то ошибку?
Сервса по этому адресу нет. Там какая-то студия музыки. Отредактируйте адрес на http://www.technoinfo.info/seo/
Kislov, а вы проверяйте не во всяких непонятных сервисах, которые неизвестно как работают, а на самом Яндексе.
Bloody dude, удачный совет!!! Спасибо!
Насколько я понял, если "общий" блок всеже запрещает определенные страницы для всех роботов, то "User-agent: Yandex...." нужно помещать вначале.
Иначе получиться:
User-agent: *
Disallow: str1.php
User-agent: *
Disallow: str2.php
User-agent: Yandex
Disallow:
Host: www.site.ru
-Яндексу все можно :)
Но поставив в это положение отару овец, вы сможете получить толпу людей. (М. Бирбом)
"User-agent: Yandex...." нужно помещать вначале.
Иначе получиться:
User-agent: *
Disallow: str1.php
User-agent: *
Disallow: str2.php
User-agent: Yandex
Disallow:
Host: www.site.ru
Этот вариант противоречит стандарту. То есть, в таком виде он теоретически (не знаю, как будет на практике) понятен ботам, но слишком многоэтажен должно быть так:
User-agent: *
Disallow: str1.php
Disallow: str2.php
User-agent: Yandex
Disallow: str1.php
Disallow: str2.php
Host: www.site.ru
Или Яндекс сверху - не суть важно. Смысл в том, что в файле прописывается несколько отдельных блоков - для всех ботов и для "особо одаренных"...
Вообще-то будет выглядеть так:
User-agent: *
Disallow: str1.php
Disallow: str2.php
User-agent: Yandex
Disallow:
Host: www.site.ru
Яндексу всё можно..
Всем спасибо за советы и помощь