- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Может быть можно последнюю часть как то прописать, типа для всех роботов кроме гугля и яндекса?
Ну так вы же указали User-agent: *, что еще надо?
Яндекс и гугл найдут свои записи, все остальные пс отправятся напрямую к инструкций User-agent: *.
Директива Host валидна только для робота Яндекса, поэтому такая запись неправильна:
Если надо прописать Host, то нужно делать robots.txt минимум из двух блоков.
ерунду говорите. если не верите мне, можете сами проверить в яндекс вебмастере, там есть проверка роботса, проверьте мой роботс и сами убедитесь что яндекс учитывает (будет написано после проверки какие строки роботса яша будет учитывать)
вот скрин на котором хорошо видно какие строки яндекс учтёт в роботсе, с 1 по пятую строку, тоесть всё. Так зачем же тогда прописывать в роботсе отдельно строки для яндекса?
внимательней читать надо. вам сказали что яндекс учитывает директиву хост, а вы это пытаетесь доказать, как будто это кто-то отрицает.
тс, правильным будет роботс, в котором отдельно прописанно для яндекса, с указанием хоста.
для всех остальных поисковиков можете прописать общий блок, но не указывая директиву хост, так как многие её проигнарируют и начнут лопатить всё подряд. при желании для гугла можете также прописать отдельно
внимательней читать надо. вам сказали что яндекс учитывает директиву хост, а вы это пытаетесь доказать, как будто это кто-то отрицает.
тс, правильным будет роботс, в котором отдельно прописанно для яндекса, с указанием хоста.
для всех остальных поисковиков можете прописать общий блок, но не указывая директиву хост, так как многие её проигнарируют и начнут лопатить всё подряд. при желании для гугла можете также прописать отдельно
Не неси бред. и причём здесь деректива хост, учитывает не учитывает. Я скрином пытаюсь доказать что ненужно специально для яндекса прописывать
User-agent: Yandex
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
достаточно один раз прописать для всех роботов.
User-agent: *
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
и на скрине видно что яндекс учитывает все эти строки.
asmakovec2
это ты бред несёшь (раз уж перешли на ты).
но я спорить не собираюсь, просто если хочешь, можешь почитать это
asmakovec2
это ты бред несёшь (раз уж перешли на ты).
но я спорить не собираюсь, просто если хочешь, можешь почитать это
зачем мне читать чейто бред. Если я уверен что я прав.
Ты можешь понять что User-agent: * обозначает для всех роботов, в том числе и для яндекса
а это значит что вот такие строки яндекс будет учтывать
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
так зачем прописывать отдельно для яндекса вот так???
Sitemap: http://site.ru/sitemap.xml
Disallow: /go/
Disallow: /stat.html
Host: site.ru
User-Agent: *
Sitemap: http://site.ru/sitemap.xml
Disallow: /go/
Disallow: /stat.html
Неужели такие простые вещи так сложно понять?🤪
неужели вам так сложно понять что директива хост только яндексом учитывается, а остальными нет??? поэтому нужно как минимум два блока в роботсе - для яндекса и для всех остальных
неужели вам так сложно понять что директива хост только яндексом учитывается, а остальными нет??? поэтому нужно как минимум два блока в роботсе - для яндекса и для всех остальных
а неужели так трудно понять что User-agent: * учитывают все роботы И яндекс в том числе.? На скрине я показывал что учитывает яндекс если ему дать User-agent: *.
Или ты хочешь сказать что вот так яндекс не учтёт хост?
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Яндекс учтёт всё. А остальные роботы учтут всё КРОМЕ строчки Host: site.ru Остальные роботы эту строку просто проигнорируют.
Кто-нить еще из гуру может подтвердить правильность написания?