Правила форума надеюсь не нарушу. Чутка поломаю ссылку.
Сайт по облачным решениям. В планах дальше наполнять и добавлять сервисы.
_besplatnye-oblaka._ru
Читал что из-за большой числа "мусорных" страниц может в дорвей кинуть. А робот активно по левым ссылкам пошел.
Robots.txt такой
User-agent: * # общие правила для роботов, кроме Яндекса и Google, Disallow: /? # все параметры запроса на главной Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: *?s= # поиск Disallow: *&s= # поиск Disallow: /search/ # поиск Disallow: /author/ # архив автора Disallow: /users/ # архив авторов Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой Disallow: /wp-json/* Disallow: /2018* Disallow: /2019* Disallow: /2020* Disallow: /comments/* Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: */embed # все встраивания Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php # файл WordPress API Disallow: *utm*= # ссылки с utm-метками Disallow: *openstat= # ссылки с метками openstat Allow: */uploads # открываем папку с файлами uploads User-agent: GoogleBot # правила для Google Disallow: /comments/* Disallow: /cgi-bin Disallow: /2018* Disallow: /2019* Disallow: /2020* Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета) Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д. Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS User-agent: Yandex # правила для Яндекса Disallow: /comments/* Disallow: /2018* Disallow: /2019* Disallow: /2020* Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Sitemap: сайт/sitemap.xml Host: сайт
Но яндекс активно лезет на страницы /feed и так далее.
Честно говоря я понять не могу почему в дорвей записали сайт. На другие сайты ссылок нет. Текст писался на заказ и он уникальный и по тематике.
Доброго дня. Сайт в яндексе внезапно попал в Дорвеи. Сайту месяца нет, всего 7 страниц. Текст весь оригинальный (заказывал писать). На все 7 страниц сайта всего 4 ссылки на сторонние сайты. Причем все сайты "серьезные", то есть ссылаются на яндекс, гугл, мэйл. Дорвеем тут и не пахнет.
Сайт работает на WP. Информацию на сайте выкладываю в виде страниц (не посты).
сайт.ру/статья1
сайт.ру/статья2
сайт.ру/статья3
И так далее. Но бот яндекса усиленно стучится куда не надо. Например
И так далее. В robots.txt обширное правило. Но видно не могу обхватить ВСЕ.
Суть моего вопроса, как сделать правило так, что бы роботы ходили лишь по 7 страницам и не лез больше никуда дальше эти 7 страниц ?
Пока додумался до этого, но включать эти правила как-то побаиваюсь
