Куда именно прописать Sitemap в роботс? Не пойму.

12
A1
На сайте с 22.01.2015
Offline
12
3588

Здравствуйте!

Составляла роботс... и я правда не знаю куда правильнее прописать Sitemap в данной ситуации:

User-agent: *
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png

User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png

User-agent: YandexBot
Host: site.ru

Вроде как Host работает только у Яндекса.

Мне нужно, чтобы все поисковики правильно восприняли данный роботс. Прошу помощи... я не смогла вникнуть в это.

Optismile
На сайте с 30.05.2015
Offline
57
#1

Alena1980, тема по robots.txt - /ru/forum/828288

Тема похожая на вашу /ru/forum/706257

Anibrut
На сайте с 28.05.2014
Offline
74
#2

Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.

https://help.yandex.ru/webmaster/error-dictionary/robots-txt.xml

https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host

Ну а в конце сначала Host, потом Sitemap.

A1
На сайте с 22.01.2015
Offline
12
#3

Ну я перед тем, чтобы сюда написать прочитала официальную документацию Яндекса и Гугл.

Мне нужна помощь под конкретный пример.

Optismile
На сайте с 30.05.2015
Offline
57
#4

Alena1980, чтоб помочь вам, нужно чётко услышать от вас что вы хотите запретить/разрешить для индексации, проверить robots.txt на предмет ошибки и т.д.

Допустим так:

User-agent: *

Disallow: /engine/

User-agent: Googlebot

Allow: /engine/*.js

Allow: /templates/*.css

Allow: /uploads/*.png

User-agent: Googlebot-Image

Allow: /uploads/*.jpg

Allow: /uploads/*.png

User-agent: YandexBot

Allow: /

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

A1
На сайте с 22.01.2015
Offline
12
#5
Optismile:
Alena1980, чтоб помочь вам, нужно чётко услышать от вас что вы хотите запретить/разрешить для индексации, проверить robots.txt на предмет ошибки и т.д.
Допустим так:
User-agent: *
Disallow: /engine/

User-agent: Googlebot
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png

User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png

User-agent: YandexBot
Allow: /
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?

Optismile
На сайте с 30.05.2015
Offline
57
#6
Alena1980:
или я ошибаюсь?

вы ошибаетесь

worldfoto
На сайте с 20.04.2012
Offline
210
#7

Если по вашему примеру то сюда

User-agent: *
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot
Allow: /engine/*.js
Allow: /templates/*.css
Allow: /uploads/*.png

User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png

User-agent: YandexBot
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
⭐ ->Лучший VPN https://u.to/i1L5IA | ⭐ - > Лучшая партнерка только с ней и зарабатываю! https://is.gd/OrRjrw
A
На сайте с 23.11.2011
Offline
119
#8
Anibrut:
Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.

Что за вздор?

Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.

---------- Добавлено 31.07.2015 в 11:14 ----------

Alena1980:
Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?
arhinastya:
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.

В любое место

---------- Добавлено 31.07.2015 в 11:21 ----------

Alena1980, и вообще у вас бред какой-то написан. Напишите лучше тут что вы хотите закрыть/открыть и от каких ПС.

A1
На сайте с 22.01.2015
Offline
12
#9
arhinastya:
Что за вздор?
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.

---------- Добавлено 31.07.2015 в 11:14 ----------





В любое место

---------- Добавлено 31.07.2015 в 11:21 ----------

Alena1980, и вообще у вас бред какой-то написан. Напишите лучше тут что вы хотите закрыть/открыть и от каких ПС.

А у вас не приходило http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js ???

Только стили и картинки почему-то всё равно не отображают http://prntscr.com/7z6h72 ....

O
На сайте с 07.07.2014
Offline
32
#10

Извините за боян, но не могу не вспомнить известный сео демотиватор

Не стал вставлять в виде картинки, т.к. он грубоват.

http://seodemotivators.ru/wp-content/uploads/chotky-robots.jpg

В общем то данный демотиватор исчерпывающе отвечает на ваш вопрос.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий