Odwin

Правила форума надеюсь не нарушу. Чутка поломаю ссылку.

Сайт по облачным решениям. В планах дальше наполнять и добавлять сервисы.

_besplatnye-oblaka._ru

Читал что из-за большой числа "мусорных" страниц может в дорвей кинуть. А робот активно по левым ссылкам пошел.

Robots.txt такой

User-agent: *              	 	# общие правила для роботов, кроме Яндекса и Google, 

Disallow: /?                		# все параметры запроса на главной

Disallow: /wp-              		# все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins

Disallow: *?s=              		# поиск

Disallow: *&s=              		# поиск

Disallow: /search/          	# поиск

Disallow: /author/          	# архив автора

Disallow: /users/           	# архив авторов

Disallow: */trackback       # трекбеки, уведомления в комментариях о появлении открытой 

Disallow: /wp-json/*	

Disallow: /2018*

Disallow: /2019*

Disallow: /2020*

Disallow: /comments/*

Disallow: */feed            	# все фиды

Disallow: */rss             		# rss фид

Disallow: */embed           	# все встраивания

Disallow: */wlwmanifest.xml 

Disallow: /xmlrpc.php       # файл WordPress API

Disallow: *utm*=             	# ссылки с utm-метками

Disallow: *openstat=        	# ссылки с метками openstat

Allow: */uploads            	# открываем папку с файлами uploads



User-agent: GoogleBot  	# правила для Google

Disallow: /comments/*

Disallow: /cgi-bin

Disallow: /2018*

Disallow: /2019*

Disallow: /2020*

Disallow: /?

Disallow: /wp-

Disallow: /wp/

Disallow: *?s=

Disallow: *&s=

Disallow: /search/

Disallow: /author/

Disallow: /users/

Disallow: */trackback

Disallow: */feed

Disallow: */rss

Disallow: */embed

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Disallow: *utm*=

Disallow: *openstat=

Allow: */uploads

Allow: /*/*.js              # открываем js-скрипты внутри /wp- (/*/ - для приоритета)

Allow: /*/*.css             # открываем css-файлы внутри /wp- (/*/ - для приоритета)

Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.

Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.

Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.

Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.

Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS



User-agent: Yandex          # правила для Яндекса

Disallow: /comments/*

Disallow: /2018*

Disallow: /2019*

Disallow: /2020*

Disallow: /cgi-bin

Disallow: /?

Disallow: /wp-

Disallow: /wp/

Disallow: *?s=

Disallow: *&s=

Disallow: /search/

Disallow: /author/

Disallow: /users/

Disallow: */trackback

Disallow: */feed

Disallow: */rss

Disallow: */embed

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Allow: */uploads

Allow: /*/*.js

Allow: /*/*.css

Allow: /wp-*.png

Allow: /wp-*.jpg

Allow: /wp-*.jpeg

Allow: /wp-*.gif

Allow: /wp-admin/admin-ajax.php



Sitemap: сайт/sitemap.xml

Host: сайт

Но яндекс активно лезет на страницы /feed и так далее.

Честно говоря я понять не могу почему в дорвей записали сайт. На другие сайты ссылок нет. Текст писался на заказ и он уникальный и по тематике.

Доброго дня. Сайт в яндексе внезапно попал в Дорвеи. Сайту месяца нет, всего 7 страниц. Текст весь оригинальный (заказывал писать). На все 7 страниц сайта всего 4 ссылки на сторонние сайты. Причем все сайты "серьезные", то есть ссылаются на яндекс, гугл, мэйл. Дорвеем тут и не пахнет.

Сайт работает на WP. Информацию на сайте выкладываю в виде страниц (не посты).

сайт.ру/статья1

сайт.ру/статья2

сайт.ру/статья3

И так далее. Но бот яндекса усиленно стучится куда не надо. Например

И так далее. В robots.txt обширное правило. Но видно не могу обхватить ВСЕ.

Суть моего вопроса, как сделать правило так, что бы роботы ходили лишь по 7 страницам и не лез больше никуда дальше эти 7 страниц ?

Пока додумался до этого, но включать эти правила как-то побаиваюсь