- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
вот думаю, может что в роботс у меня что неправильно, посмотрите плиз
По просьбе ТС:
Вах, какой robots нихароший!
По теме: да ничо вродь.
Ошибок не заметил..
Поправьте меня, если я не прав.
Я хоть сам никогда не пользуюсь директивой sitemap, но разве в ней, в отличие от той же host, не нужно прописывать полный путь? Я имею в виду не
а
Или и то, и то - верно?
насколько я помню., правильно без http://
В какой-то ветке вопрос про этот файл robots.txt уже поднимался недавно.
Кто-нибудь может внятно ответить на вопросы?
1) Почему в robots.txt на указанном сайте директивы закрытия от индексации для Яндекса (Yandex) и для всех остальных роботов (*) повторяются? Значит ли это, что если Яндекс встречает User-agent: Yandex, то он игнорирует User-agent: *, который идет после него?!
2) Что означает директива Host: shophelp.ru
3) Директива Sitemap: /sitemap.xml - это адрес карты сайта для Google? Ее воспринимает только Google или Яндекс тоже?!
В какой-то ветке вопрос про этот файл robots.txt уже поднимался недавно.
alger, есть одна замечательная тема, только нужно не лениться и нажимать на эту прелесную кнопку, если и там вам не ответят, тогда не уитруждайтесь - ВОТ ОНА ЭТА ТЕМА!!! ;)
спс за внимание :)
1. Перестраховщики. Можно обойтись только User-agent: *
2. Это не директива, а сайт. Почитайте тут: http://robotstxt.org.ru/rurobots/yandex#h79-4
3. Яндекс нет.
насколько я помню., правильно без http://
Зачем все помнить? Есть документация, правильное использование которой путь к успеху.
Как указать местоположение файла Sitemap в файле robots.txt
Можно указать местоположение файла Sitemap, используя файл robots.txt. Для этого просто добавьте следующую строку:
Sitemap: <sitemap_location>
URL <sitemap_location> должен быть полным URL для файла Sitemap, например: http://www.primer.ru/sitemap.xml
http://sitemaps.org/ru/protocol.php#submit_robots
Юпи-с, у Яндекса и Google есть инструменты для проверки роботс. Пользоваться можно совершенно бесплатно ;)
3) Директива Sitemap: /sitemap.xml - это адрес карты сайта для Google? Ее воспринимает только Google или Яндекс тоже?!
Вношу поправку к своему посту sitemap.xml Яндекс тоже читает. Возможность появилась совсем недавно.
См. /ru/forum/236203
Sitemap: /sitemap.xml
в общем разделе?