Блокирование страниц в файле robots.txt

V8
На сайте с 16.12.2016
Offline
2
627

Гугл ругается на файл роботс, мол тот блокирует важные страницы. Всего на сайте около 830 страниц из низ 30% блокируется файлом (по гуглу). Сайтмап делал в обычном генераторе и с ним вроде все ок. Но что не так с самим файлом роботс и что гуглу в нем не нравится? Подскажите пожалуйста.

вот сам файл роботс:

User-agent: *

Allow: /*.js*

Allow: /*.css*

Allow: /*.png*

Allow: /*.jpg*

Allow: /*.gif*

Disallow: /*%*

Disallow: /*?*

Disallow: /*bycategory_name*

Disallow: /*bymf_name*

Disallow: /*byordering*

Disallow: /*byproduct_*

Disallow: /*cart*

Disallow: /*category_name*

Disallow: /*component*

Disallow: /*created_on*

Disallow: /*dirdesc*

Disallow: /*feed*

Disallow: /*flypage=*

Disallow: /*keyword=*

Disallow: /*lichnyj-kabinet*

Disallow: /*log-in*

Disallow: /*lost-*

Disallow: /*mf_name*

Disallow: /*pop=*

Disallow: /*print*

Disallow: /*product*

Disallow: /*recommend*

Disallow: /*results*

Disallow: /*rezultaty*

Disallow: /*search*

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /index.php?*

Disallow: /index2.php*

Disallow: /language/

Disallow: /libraries/

Disallow: /magazin/*/manufacturer/*

Disallow: /manufacturer/*

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /shop/ask/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /your-details*

User-agent: Yandex

Allow: /*.js*

Allow: /*.css*

Allow: /*.png*

Allow: /*.jpg*

Allow: /*.gif*

Disallow: /*%*

Disallow: /*?*

Disallow: /*bycategory_name*

Disallow: /*bymf_name*

Disallow: /*byordering*

Disallow: /*byproduct_*

Disallow: /*cart*

Disallow: /*category_name*

Disallow: /*component*

Disallow: /*created_on*

Disallow: /*dirdesc*

Disallow: /*feed*

Disallow: /*flypage=*

Disallow: /*keyword=*

Disallow: /*lichnyj-kabinet*

Disallow: /*log-in*

Disallow: /*lost-*

Disallow: /*mf_name*

Disallow: /*pop=*

Disallow: /*print*

Disallow: /*product*

Disallow: /*recommend*

Disallow: /*results*

Disallow: /*rezultaty*

Disallow: /*search*

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /index.php?*

Disallow: /index2.php*

Disallow: /language/

Disallow: /libraries/

Disallow: /magazin/*/manufacturer/*

Disallow: /manufacturer/*

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /shop/ask/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /your-details*

Host: sitename.com

Sitemap: http://sitename.com/sitemap.xml

[Удален]
#1

Вы сами роботс составляли?

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#2

Скорее всего, в sitemap.xml присутствуют адреса страниц, закрытых в robots.txt - попробуйте их оттуда убрать.

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
V8
На сайте с 16.12.2016
Offline
2
#3

роботс составлял человек, который и создавал сайт

---------- Добавлено 16.12.2016 в 14:20 ----------

Ingref:
Скорее всего, в sitemap.xml присутствуют адреса страниц, закрытых в robots.txt - попробуйте их оттуда убрать.

убрать из файла сайтмап?

хотя сам файл роботс мне не очень нравится, почему его составитель поставил allow для скриптов и так далее?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий