Все вопросы по robots.txt

F
На сайте с 05.11.2016
Offline
0
#821
Svictor:
Disallow: /wp-includes
тоже можете убрать.

Disallow: /wp-content/cache
Этот я бы оставил, т.к не известно мне в каком формате хранится кэш.

Убрал эти 3 правила полностью из файла, проверяю опять на совместимость с моб. устройствами через панель Search Console, но ситуация и результат тот же. Оно же должно сразу нормально стать отображаться? Или должно пройти какой-то время? И если сразу, тогда в чем же еще может быть проблема, если ситуация не поменялась?

Svictor
На сайте с 16.01.2007
Offline
99
#822
Fabian:
Убрал эти 3 правила полностью из файла, проверяю опять на совместимость с моб. устройствами через панель Search Console, но ситуация и результат тот же. Оно же должно сразу нормально стать отображаться? Или должно пройти какой-то время? И если сразу, тогда в чем же еще может быть проблема, если ситуация не поменялась?

Посмотрел на Ваш robots.txt

Оказалось, что правило

Disallow: /*?*

блокировало остальные файлы стилей, что и сказывалось на не корректном отображений страницы в гугле

Удалите его и проверьте еще раз

F
На сайте с 05.11.2016
Offline
0
#823
Svictor:
Посмотрел на Ваш robots.txt
Оказалось, что правило
Disallow: /*?*

блокировало остальные файлы стилей, что и сказывалось на не корректном отображений страницы в гугле

Удалите его и проверьте еще раз

Все, теперь все впорядке, отображает корректно)) Огромное спасибо🍻

Только скажите, если я убрал Disallow: /*?*, мне остальные 4 правила вернуть?

Потому что в конечно итоге я удалил получается:

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /wp-content/cache

и

Disallow: /*?*

Svictor
На сайте с 16.01.2007
Offline
99
#824
Fabian:
Все, теперь все впорядке, отображает корректно)) Огромное спасибо🍻

Только скажите, если я убрал Disallow: /*?*, мне остальные 4 правила вернуть?
Потому что в конечно итоге я удалил получается:
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-content/cache
и
Disallow: /*?*

Нет, можно только один добавить

Disallow: /wp-content/cache

Но потом проверить отображение сайта по гугл версии

P4
На сайте с 23.12.2013
Offline
50
#825

А есть у кого сайт, где можно почитать, как правильно с ним работать?

Здесь можно купить кабель ( https://www.tdsevcable.ru/ ) на выгодных условиях
anNET1
На сайте с 04.08.2016
Offline
6
#826

Лично я думала что роботов невозможно обхитрить и т.д. Если всё так просто, почему у многих проблемы?? Или всё дело в грамотном и чётком написании robots.txt которое мало кто осилит? Или как?

получение лицензии МЧС Москва (http://license-01.ru/)
VS
На сайте с 18.07.2016
Offline
6
#827

Добрый день.

Подскажите, пожалуйста, по robots. Интересует Яндекс, в индексе которого есть страницы, предназначенные для печати. Соответственно, хочу закрыть их в robots. Помогите, плз, составить директиву.

Допустим, есть страницы:

site.ru/catalog/product1/

site.ru/services/for_clients/

site.ru/info/path/products/about/line1/

У этих же страниц есть варианты, предназначенные для печати (урл формируется добавлением ?print=Y после последнего слеша). Т.е. урлы вышеприведенных страниц:

site.ru/catalog/product1/?print=Y

site.ru/services/for_clients/?print=Y

site.ru/info/path/products/about/line1/?print=Y

Вопрос: как закрыть все эти страницы с print=Y , не закрыв по ходу еще чего лишнего?

Такая строчка Disallow: /*?print=Y будет работать или ошибаюсь?

Заранее спасибо.

angel57
На сайте с 01.04.2014
Offline
155
#828

Все правильно, будет работать. Перед знаком вопроса можно слеш еще добавить.

PS в вебмастере яндекса есть удобная проверка файла роботс, там же можно посмотреть закрыта страница от индексации или нет

VS
На сайте с 18.07.2016
Offline
6
#829
angel57:
Перед знаком вопроса можно слеш еще добавить.

А что это даст?

Про проверку в вебмастере в курсе, но мне нужно сейчас не запороть, чтобы не закрыть лишнее.

feord
На сайте с 28.06.2011
Offline
80
#830

нужная статья

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий