Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Не оптимизировано для мобильных устройств из-за robots.txt

SEOKinG
На сайте с 03.09.2008
Offline
183
SEOKinG
812

Добрый день. имеется новая адаптивная верстка.

с роботс.тхт - проверка НЕ проходит

без роботс.тхт - проверка проходит

содержимое роботса:


User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /author/
Disallow: /author/*
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /tag/
Disallow: /tag/*
Disallow: /?s=
Disallow: /go-
Disallow: /go-*
Disallow: /page
Disallow: /page/
Disallow: /page/*

Host: domen.com


User-agent: *
Allow: /wp-content/uploads/
Allow: /wp-includes/js/
Allow: /wp-content/themes/12/
Allow: /wp-content/themes/12/
Allow: /wp-content/plugins/

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /author/
Disallow: /author/*
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /tag/
Disallow: /tag/*
Disallow: /?s=
Disallow: /go-
Disallow: /go-*
Disallow: /page
Disallow: /page/
Disallow: /page/*

осталось только 2 проблемы, на которые говорит гугл:

http://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js

и http://mc.yandex.ru/metrika/watch.js

мол у гугла нет доступа к этим страницам.

кто сможет помочь?

S
На сайте с 14.12.2012
Offline
45
Saend
#1

SEOKinG, /ru/forum/942460. А вообще зачем такой громадный robots составлять, если его можно значительно сократить по маске, используя * в начале слова + дублировать инструкции для разных роботов не обязательно. Достаточно User-agent: *

robots.txt и главная страница Зачем прописывать директивы в robots.txt и доры?
L0
На сайте с 15.04.2015
Offline
76
Leks007
#2
User-agent: *
Allow: /wp-content/uploads/
Allow: /wp-includes/js/
Allow: /wp-content/themes/12/
Allow: /wp-content/themes/12/
Allow: /wp-content/plugins/

Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /author/
Disallow: /author/*
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /tag/
Disallow: /tag/*
Disallow: /?s=
Disallow: /go-
Disallow: /go-*
Disallow: /page
Disallow: /page/
Disallow: /page/*

удалите уж Disallow: /wp-content/

думаю ничего секретного бот у вас там не найдет и проблем не будет

Да, я опасен! Я говорю вам - правду
Ideas Garden
На сайте с 25.03.2016
Offline
23
Ideas Garden
#3

Зачем Вы человека запутываете?

Заходите просто в Гугл вебмастер в раздел Сканирование->Посмотреть как гуглбот.

Вводите адрес страницы, выбираете тип робота и нажимаете получить и отобразить.

После того как робот просканирует страницу, нажимаете справа на стрелочку напротив страницы и смотрите как робот видит Ваш сайт. Там и будет указано, какие ресурсы не загружаются, а какие закрыты в роботсе. Открываете указанные ресурсы в роботсе и наслаждаетесь нормальной индексацией.

Ideas Garden (https://ideas-garden.com) - SEO продвижение, раскрутка сайтов, PPC. Наращиваем трафик и создаем поток продаж.
Важность уникальных картинок Googlebot не может получить Нужно ли открывать скрипты

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий