- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
в таком виде robots будет работать правильно
User-Agent: *
Disallow: /cgi-bin
Host: www.site.ru
Allow: /
Sitemap: http://www.site.ru/sitemap.xml
мне нужно индексировать проект с www и карту
User-Agent: *
Disallow: /cgi-bin
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml
я бы посоветовал так
User-Agent: *
Disallow: /cgi-bin
Allow: /
User-Agent: Yandex
Sitemap: http://www.site.ru/sitemap.xml
Host: www.site.ru
Поскольку конструкция Host понимается только ядексом то от риска не так быть понятым другими поисковиками и стоит вынести его в отдельный пункт юзер агента
и как же будет в итоге правильно...
есть еще такой вариант
User-Agent: *
Disallow: /cgi-bin
Sitemap: http://www.site.ru/sitemap.xml
User-Agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml
все три варианта верны)
http://help.yandex.ru/webmaster/?id=996567
все три варианта верны)
http://help.yandex.ru/webmaster/?id=996567
в первом варианте я читал что директиву host лучше ставить в конце после sitemap так как ее читает только яндекс
Вот кашерный вариант:
User-Agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
User-Agent: *
Disallow: /cgi-bin
Sitemap: http://www.site.ru/sitemap.xml
директива sitemap для yandex bot не указывается.
директива sitemap для yandex bot не указывается.
Указывается, но может находиться вне всяких секций.
Указывается, но может находиться вне всяких секций.
Но ваш вариант тоже правильный?
Указывается, но может находиться вне всяких секций.
если считать help.yandex.ru эталонным справочником по составлению секции в robots.txt для yandex bot то не указывается.
Указывается, но может находиться вне всяких секций.
Полностью согласен
свои роботсы (перелопатив кучу рекомендаций) я привел к такому виду
User-Agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
User-Agent: *
Disallow: /cgi-bin
Sitemap: http://www.site.ru/sitemap.xml
Sitemap: http://www.site.ru/sitemap.xml.gz
П.С.: Когда в роботсе было 2 или более раз указана карта сайта, Я.Вебмастер при проверке роботс на это "ругался".