Все вопросы по robots.txt - 2

а как настроить, чтобы страницы site.ru/page/2 не трогал а site.ru/cat_1_name/page/2

site.ru/cat_2_name/page/4

хавал

и насколько правильно будет сделать такой роботс

User-agent: *

Allow: /

Disallow: /$

Disallow: /category/cat1$

Disallow: /category/cat2$

Disallow: /category/cat3$

Disallow: /category/cat4$

Disallow: /category/cat5$

Disallow: /cat1/*.html$

Disallow: /cat2/*.html$

Disallow: /cat3/*.html$

Disallow: /cat4/*.html$

Disallow: /cat5/*.html$

Disallow: /wp-content/upload/

Если надо индексировать только главную, первые страницы категорий, html страницы (статьи) в категориях

Что я не учел и / или какие минусы в таком роботсе Вы видите?

Спасибо!

Гугл при просмотре с мобильного телефона (через мобильный интернет), страницы в поисковой выдаче, пишет что Мета-описание заблокировано robots.txt , при чем если делать тоже с компьютера или того же телефона, но через вайфай, то мета описание отображается корректно.

Сайт http://1rubalka.info

Робот

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Disallow: /category

Disallow: /page

Disallow: /plugins

Disallow: /archives

Disallow: /step/.....

Disallow: /go

Disallow: /goto

Запрос "Характеристика удилищ" второй в поисковой выдаче

Добрый день. Яндекс анонсировал, что перестает учитывать Crawl-Delay. Подскажите, учитывает ли его гугл, и есть ли смысл прописывать его в robots.txt?

А зачем?

Если ваш сайт падает от какого-то там поискового робота, то что вы будете делать, когда на сайт придут столь вожделенные настоящие посетители?

Тенденции поисковиков еще с прошлого года - учитывать скорость отдачи страницы.

Она должна быть максимально быстрой.

Иначе будет плохое ранжирование.

А если вы добились быстрой отдачи страницы, то Crawl delay вам и не нужен.

https://support.google.com/webmasters/answer/48620?hl=ru

По Crawl-Delay и раньше неоднократно встречал инфу, что гуглом не учитывается.

Дико извиняюсь, но не могли бы вы подсказать где можно в вэбмастере посмотреть правильный робот.тхт или нет?

Свой я вижу и это понятно но с чем сравнить? Или где посомтреть что он действительно как надо.

Спасибо.

---------- Добавлено 28.02.2018 в 09:29 ----------

Нашел, се нашел /ru/forum/828288

Извиняюсь за беспокойство.

Подскажите пожалуйста

18. User-Agent: Yandex

19. Disallow: /page/*

20. Disallow: /*/page/*

21. Disallow: /symbol/

как изменить 20 пункт(20. Disallow: /*/page/*) РЗРЕШИТЬ ИНДЕКСАЦИЮ ДЛЯ ПС ?

в файле роботс..что в 20 пункте прописать?

---------- Добавлено 03.03.2018 в 16:51 ----------

не нашла вообще как исправить роботс чтобы весь сайт индексировался ПС.

на данный момент все вот так:

User-Agent: Googlebot

Disallow: /page/*

Disallow: /*/page/*

Disallow: /symbol/

Disallow: /symbol/*

Disallow: /symbol/*/page/*

Disallow: /director/*/page/*

Disallow: /smotret-filmy/*/page/*

Disallow: /smotret-onlayn/*/page/*

Disallow: /tmp/

Disallow: /statics/

Disallow: /index.php?

Disallow: /index.php?mode*

Disallow: /calendar/

Disallow: /filmy-s-uchastiem/*/page/*

Disallow: /filmy-s-uchastiem/*

User-Agent: Yandex

Disallow: /page/*

Disallow: /*/page/*

Disallow: /symbol/

Disallow: /symbol/*

Disallow: /symbol/*/page/*

Disallow: /director/*/page/*

Disallow: /smotret-filmy/*/page/*

Disallow: /smotret-onlayn/*/page/*

Disallow: /tmp/

Disallow: /statics/

Disallow: /index.php?

Disallow: /index.php?mode*

Disallow: /calendar/

Disallow: /filmy-s-uchastiem/*/page/*

Disallow: /filmy-s-uchastiem/*

и здесь хост-адрес сайта

Какие-то страницы индексируются а какие-то нет...соотношение- 5% проиндексировались,остальные нет

Какие, например?

Замените на

Allow: /*/page/*