Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Важные страницы блокируются в файле robots.txt.

12
G
На сайте с 20.05.2004
Offline
126
gondrab
2396

Последние изменение в robots.txt вносил 8 месяцев назад. Сегодня Google Webmaster предупредил, что "Некоторые важные страницы блокируются в файле robots.txt.".

Захожу в "инструмент проверки robots.txt, там "Ошибок: 0 Предупреждений: 0". Что это за дела такие?

User-agent: googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /search-results.html*
Disallow: /*tmpl=component&print=1*
Disallow: /*feed?type*
Disallow: /*type=rss
Disallow: */memberlist.php?*
Disallow: /cgi-bin/
Disallow: /forum/topic*.html
Disallow: /forum/member/*
Disallow: /component/content/
Disallow: /*?refsite=
Disallow: /search.php*
Disallow: /component/*
Disallow: /tag/*
Disallow: *?iframe=*
Disallow: *get?q*
Disallow: *?tmpl=*
Disallow: *search.php*
Allow: /components/com_jcomments/
Allow: /components/com_tag/css/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /search-results.html*
Disallow: /*tmpl=component&print=1*
Disallow: /*feed?type*
Disallow: /*type=rss
Disallow: */memberlist.php?*
Disallow: /cgi-bin/
Disallow: /forum/topic*.html
Disallow: /forum/member/*
Disallow: /component/content/
Disallow: /*?refsite=
Disallow: /search.php*
Disallow: /component/*
Disallow: /tag/*
Disallow: *?iframe=*
Disallow: *get?q*
Disallow: *?tmpl=*
Disallow: *search.php*

Host: www.сайт.com

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /search-results.html*
Disallow: /*tmpl=component&print=1*
Disallow: /*feed?type*
Disallow: /*type=rss
Disallow: */memberlist.php?*
Disallow: /cgi-bin/
Disallow: /forum/topic*.html
Disallow: /forum/member/*
Disallow: /component/content/
Disallow: /*?refsite=
Disallow: /search.php*
Disallow: /component/*
Disallow: /tag/*
Disallow: *?iframe=*
Disallow: *get?q*
Disallow: *?tmpl=*
Disallow: *search.php*
project33
На сайте с 30.04.2011
Offline
94
project33
#1

в заблокированных ресурсах надо искать

G
На сайте с 20.05.2004
Offline
126
gondrab
#2
project33:
в заблокированных ресурсах надо искать

В заблокированных? А можно чуток подробнее?

Недавно обратил внимание что Google просканировал сайт по IP, как зеркало. Поставили заглушку, что бы не индексировал. Может это связано?

/ru/forum/925254

project33
На сайте с 30.04.2011
Offline
94
project33
#3

в консоли Индекс Google - Заблокированные ресурсы

там смотрите что заблокировано и откройте это в robots

J
На сайте с 24.09.2008
Offline
61
jsergei
#4

У меня такая же ерунда, ничего в роботсе не менял уже пару лет, просто вылезло предупреждение - "Некоторые важные страницы блокируются в файле robots.txt.". Думаю какая то ошибка в Search Console.

Роботс вручную проверяю все в порядке, страницы доступны.

Нужна помощь. Снижение трафика Помогите решить проблему с Что такое Заблокированные ресурсы
Snake800
На сайте с 02.02.2011
Offline
228
Snake800
#5

Возможно, блокируются скрипты и стили. Вот и папка templates запрещена.

Doroshev
На сайте с 21.01.2010
Offline
186
Doroshev
#6

Тоже столкнулся с этой проблемой. Вот ссылка на топик:

/ru/forum/925793

мне кажется, что тупит консоль.

К
На сайте с 14.03.2004
Offline
201
Константин
#7

тоже самое на двух сайтах, в роботсе не менял давненько доступ к цсс и джава скрипте открыл давно

убрал из роботса практически вообще все, оставил только определенные страницы индексировать

алерты не исчезли

Интернет магазин православных икон Kiot.com.ua (http://kiot.com.ua) - для форумчан скидка (запрос в личку)
AdSense обновляет страницу об Яндекс Вебмастер сообщит о Google окончательно убрал ярлык
AR
На сайте с 01.04.2012
Offline
78
And-rey
#8
...Захожу в "инструмент проверки robots.txt, там "Ошибок: 0 Предупреждений: 0". Что это за дела такие?

) так тож инструмент для проверки правильности составления самого файла роботс.тхт

...папка templates запрещена.

- откройте доступ через "Allow:" в этом каталоге, где у него пути шаблона к стилям и скриптам.

Для Гугла надо обязательно открывать все каталоги, откуда подтягиваются скрипты и стили, для отображения страниц.

К примеру у меня была проблема из-за индексации страниц с товаром (сама карточка). Оказалось гугл не мог вытащить скрипт "звёздочки-оценки", капчу (отзыв когда написать) Капчу вот по этому адресу: /index.php?route=product/product/captcha&rand=7821 которая там находится на странице. А в роботсе стоит запрет на все вариации с этим "index.php".

Вот он встерчал запрет, и не индексировал как надо страницу. Как-то через что-ли. Замечено было в начале января этого года!

И вообще, тут на форуме не раз поднимались проблемы с этим роботс.тхт для гугла: он не получает доступ к страницам запрещённым, но всё одно их тащит в свой индекс пачками! И пишет потом в выдаче где дискрипшн - страница недоступна из-за файла роботс

Поэтому дубли, пагинации, сортировки, нужно блочить для гугла только тегом <meta name="robots" content="noindex, nofollow" />

или заголовком от сервера - X-Robots-Tag: noindex,nofollow (через .htaccess или php)

А вот для Яндекса пагинации, сортировки, дубли - всё запрещать в роботс.тхт

rel-canonical уже не нужен? canonical для пагинаций Закрытие от индексации ряда
V
На сайте с 11.12.2013
Offline
29
vbar
#9
gondrab:

Захожу в "инструмент проверки robots.txt, там "Ошибок: 0 Предупреждений: 0". Что это за дела такие?

На странице robots.txt нажмите "Проверить". Вебмастер подсветит больное место. Скрин http://clip2net.com/s/3uzKhbr .

frank_82
На сайте с 09.12.2011
Offline
250
frank_82
#10

у меня ничего не подсвечивает, половина сайтов с "ошибкой" половина нет. Забил на это, глюк скорее всего

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий