Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Robot.txt помогите правильно настроил?

12 3
Selend
На сайте с 20.04.2013
Offline
96
Selend
2350

Здравствуйте, google сегодня выбbл что доступ не было получено Robot.txt.

Вот мой Robot.txt :

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: мой сайт.ру

Sitemap: мой сайт.ру/sitemap.xml

User-agent: Googlebot

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Host: мой сайт.ру

Sitemap: мой сайт.ру/sitemap.xml

Помогите пожалуйста в чем ошибка?

Отличный телеграм канал про таргет Facebook и instagram - здесь (https://t.me/targetinFB)
maximka77
На сайте с 15.10.2011
Offline
245
maximka77
#1

Какая CMS сайта?

Вот целый топик который будет полезен для вас: /ru/forum/828288

- Базы чатов и каналов Телеграм ( https://base-top.ru/ ) - Недорогие ссылки с форумов (https://cutt.ly/swQDFZWx)
Selend
На сайте с 20.04.2013
Offline
96
Selend
#2
maximka77:
Какая CMS сайта?
Вот целый топик который будет полезен для вас: /ru/forum/828288

Сайт построен на opencart

S6
На сайте с 06.12.2011
Offline
158
SEO
#3
Selend:
...

User-agent: Goglebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
...

Кто такой Goglebot?

Аудит сайта. Консультации.
Selend
На сайте с 20.04.2013
Offline
96
Selend
#4
Selend:
Сайт построен на opencart

Вот это да стыд и позор мне.

Что и за этого может отказать?

Надеюсь гугл простить :)

А сам robot.txt составлен правильно?

vga1
На сайте с 18.02.2007
Offline
251
vga1
#5

Когда все перепробуете, переименуйте файл в robots.txt

Selend
На сайте с 20.04.2013
Offline
96
Selend
#6
vga1:
Когда все перепробуете, переименуйте файл в robots.txt

robots.txt тут все правильно. Это я на форуме написал robot.txt

E
На сайте с 21.09.2009
Offline
283
easywind
#7
Selend:
А сам robot.txt составлен правильно?

не совсем.

Параметр host понимает только яндекс и он не должен быть отделен пустой строкой от блока яндекс.бота.

Файл sitemap.xml должен один раз быть прописан и отдельным блоком.

Selend
На сайте с 20.04.2013
Offline
96
Selend
#8

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: мой сайт.ру

Sitemap: мой сайт.ру/sitemap.xml

User-agent: Googlebot

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

все исправил вот так правильней будет?

Директива Clean-param: в robots.txt Все вопросы по robots.txt Все вопросы по robots.txt
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
easywind:
и он не должен быть отделен пустой строкой от блока яндекс.бота

Яндекс свой хэлп для кого пишет?

Тем не менее директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.

E
На сайте с 21.09.2009
Offline
283
easywind
#10

так правильно. У Вас хост параметр пустой строкой отделен был.

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: мой сайт.ру

User-agent: Googlebot

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Sitemap: мой сайт.ру/sitemap.xml

Директива Clean-param: в robots.txt Все вопросы по robots.txt Все вопросы по robots.txt
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий