- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте!
Составляла роботс... и я правда не знаю куда правильнее прописать Sitemap в данной ситуации:
Вроде как Host работает только у Яндекса.
Мне нужно, чтобы все поисковики правильно восприняли данный роботс. Прошу помощи... я не смогла вникнуть в это.
Alena1980, тема по robots.txt - /ru/forum/828288
Тема похожая на вашу /ru/forum/706257
Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.
https://help.yandex.ru/webmaster/error-dictionary/robots-txt.xml
https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host
Ну а в конце сначала Host, потом Sitemap.
Ну я перед тем, чтобы сюда написать прочитала официальную документацию Яндекса и Гугл.
Мне нужна помощь под конкретный пример.
Alena1980, чтоб помочь вам, нужно чётко услышать от вас что вы хотите запретить/разрешить для индексации, проверить robots.txt на предмет ошибки и т.д.
Допустим так:
User-agent: *
Disallow: /engine/
User-agent: Googlebot
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png
User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png
User-agent: YandexBot
Allow: /
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Alena1980, чтоб помочь вам, нужно чётко услышать от вас что вы хотите запретить/разрешить для индексации, проверить robots.txt на предмет ошибки и т.д.
Допустим так:
User-agent: *
Disallow: /engine/
User-agent: Googlebot
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png
User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png
User-agent: YandexBot
Allow: /
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?
или я ошибаюсь?
вы ошибаетесь
Если по вашему примеру то сюда
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml
User-agent: Googlebot
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png
User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png
User-agent: YandexBot
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.
Что за вздор?
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.
---------- Добавлено 31.07.2015 в 11:14 ----------
Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.
В любое место
---------- Добавлено 31.07.2015 в 11:21 ----------
Alena1980, и вообще у вас бред какой-то написан. Напишите лучше тут что вы хотите закрыть/открыть и от каких ПС.
Что за вздор?
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.
---------- Добавлено 31.07.2015 в 11:14 ----------
В любое место
---------- Добавлено 31.07.2015 в 11:21 ----------
Alena1980, и вообще у вас бред какой-то написан. Напишите лучше тут что вы хотите закрыть/открыть и от каких ПС.
А у вас не приходило http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js ???
Только стили и картинки почему-то всё равно не отображают http://prntscr.com/7z6h72 ....
Извините за боян, но не могу не вспомнить известный сео демотиватор
Не стал вставлять в виде картинки, т.к. он грубоват.
http://seodemotivators.ru/wp-content/uploads/chotky-robots.jpg
В общем то данный демотиватор исчерпывающе отвечает на ваш вопрос.