- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброе!
Знаю про это уже много написано, но тем не менее нужной инфы не нашел. Услушал тут что лучше составлять robots.txt для каждого поисквика в отдельности.
Тоесть если раньше было, например -
User-Agent: *
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Говорят лучше сделать, так -
User-agent: Yandex
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: StackRambler
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
и дальше возникает вопрос, а для всех поисковиков оставшихся покатит такая форма ниже -
User-agent:
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Или как тут правильно написать, что для оставшихся поисковиков все тоже самое?
читал что нужно отдельно прописывать только для яндекса
User-agent: Yandex
Sitemap: http://site.ru/sitemap.xml
Disallow: /go/
Disallow: /stat.html
Host: site.ru
User-Agent: *
Sitemap: http://site.ru/sitemap.xml
Disallow: /go/
Disallow: /stat.html
при этом директиву хост прописывать только для яндекса. а там хз
Для поисковиков, откуда трафа обычно побольше, давать по отдельности роботс, для остальных можно и общий, хотя в идеале для всех поисковиков свои инструкции давать.
Вполне достаточно двух User-agent. Для * и для Яндекса. К директиву Host нужно прописывать только для Яндекса.
Вполне достаточно двух User-agent. Для * и для Яндекса. К директиву Host нужно прописывать только для Яндекса.
Тогда уж хотябы для яндекса и гугля. Вот так правильно будет -
User-agent: Yandex
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
User-agent:
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Правильно?
Вот так правильно
User-agent: *
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
всё остальное лишнее
Вот так правильно
User-agent: *
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
всё остальное лишнее
директиву Host нужно прописывать только для Яндекса.
Вот так правильно:
User-agent: Yandex
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
User-agent: *
Disallow: /go/
Disallow: /stat.html
Arseo, для Гугла отдельная, имхо, не нужна. Никогда не видел разницы в индексации сайта с юзер-агентом для Гугла и без.
Вот так правильно:
User-agent: Yandex
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
User-agent: *
Disallow: /go/
Disallow: /stat.html
зачем каждому роботу прописывать если есть строка которая указывает всех роботов User-agent: *
вообще мне как-то всё равно как вы там напишете, правильный роботс я дал выше.
зачем каждому роботу прописывать если есть строка которая указывает всех роботов User-agent: *
Директива Host валидна только для робота Яндекса, поэтому такая запись неправильна:
Если надо прописать Host, то нужно делать robots.txt минимум из двух блоков.
И тем не менее, если остается желание сделать для гугля и яндекса, то вот так правильно будет -
User-agent: Yandex
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
User-agent: Googlebot
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
User-agent: *
Disallow: /go/
Disallow: /stat.html
Меня в этой записи смущает что нижняя часть повторяет получается как бы 2-е верхних?
Какая часть тут более приоритетна? Может быть можно последнюю часть как то прописать, типа для всех роботов кроме гугля и яндекса?