Все вопросы по robots.txt - 2

У меня вопрос: есть страница и заметил такую особенность.

Ввожу страницу страницу у себя на сайте.

1. site.ru/catalog - ответ приходит 200 ОК

Вводим тоже самое, только в конце ? и любые символы

2. site.ru/catalog?dadasdasdfsdgfdfgjksdfghjfgjh - 200 OK

Так и должно быть ?

UPD: Disallow: /*? - это может подойти и нужно ли ?

пойдет.

Чтобы понять нужно или нет, смотрите есть ли страницы с гет-параметром у вас на сайте и решайте, нужны/не нужны.

добрый день, создаю сайт первый раз, загрузил итоговый сайтмап в гугл серч консоль 1 августа и у меня там вышла ошибка:

Данная ошибка отображается только в старой версии серч консоль.

В новой версии серч консоль ошибок нет:

старый серч консоль показывает ошибки в ссылках :

файл роботс вот:

Чему верить? Вроде файл роботс проверил, вроде все нормально. может по неопытности что-то не учел. подскажите пожалуйста

файл сайтмап создавался через yoastseo (плагин для вордпресса)

Яндекс нормально индексирует странички (200OK практически на всех страницах)

Подскажите пожалуйста, как правильно сделать

на сайте есть папка /video/ и в ней подпапки типа

/video/video_obzor/

/video/pro_rybalku/

как правильно прописать в robots.txt чтобы папка/video/ индексировалась, а все подпапки

/video/video_obzor/

/video/pro_rybalku/

запретить к индексации?

Заранее спасибо!

Всем привет!

Такой вопрос, как закрыть все страницы новостей в robots.txt, но при этом саму страницу, с которой идут ссылки на них оставить открытой.

Т.е. нужно оставить страницу открытой site.ru/news , а все новости типа site.ru/news/page1 , site.ru/news/page2 и т.д. закрыть

Вот такое решение не помогает:

Allow* /news/

Disallow: *news

В вебмастере показывается, что и папка /news/ закрыта.

Какие могут быть варианты?

Спасибо всем заранее)

Disallow: /news

Allow: /news$

Disallow: */news/

можете еще каждой новости прописывать мета-тег

<meta name="robots" content="noindex,follow">

Только этот вариант на 100% работоспособен. Потому что если на новости будут ссылки на других сайтах, Гуглу будет пофиг на robots.txt, он будет индексировать эти страницы.

Сайт - стандартный магазин на вордпресс\вукомерц. + лендинг страница на произвольном адресе.

однако гугл стал ругаться именно на файл робота.

на почту шлет предупреждения по типу:

"На сайте http://site.ru/ выявлена новая проблема с материалами формата "Индексирование отправленных URL"

Владельцу сайта http://site.ru/

Мы выявили на Вашем сайте новые проблемы (количество: 1), связанные с материалами формата "Индексирование отправленных URL", с помощью инструментов Search Console. Это означает, что контент в формате "Индексирование отправленных URL" может быть некорректно представлен в результатах Google Поиска. Рекомендуем выполнить проверку Вашего сайта и устранить выявленную ошибку.

Ниже приведены некоторые из обнаруженных неполадок.

Проиндексировано, несмотря на блокировку в файле robots.txt"

если конкретней - ругается на дизалоу /trackback

Сам файл мне оптимизаторы делали, сказали что все так и должно быть, в чем я уже сомневаюсь.

содержание робота:

User-agent: *

Disallow: /cgi-bin

Disallow: /?

Disallow: /wp-

Disallow: /wp/

Disallow: *?s=

Disallow: *&s=

Disallow: /search/

Disallow: /author/

Disallow: /users/

Disallow: */trackback

Disallow: */feed

Disallow: */rss

Disallow: */embed

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Disallow: *utm=

Disallow: *openstat=

Allow: /product-tag

Disallow: /page*

Allow: */uploads

User-agent: GoogleBot

Disallow: /cgi-bin

Disallow: /?

Disallow: /wp-

Disallow: /wp/

Disallow: *?s=

Disallow: *&s=

Disallow: /search/

Disallow: /author/

Disallow: /users/

Disallow: */trackback

Disallow: */feed

Disallow: */rss

Disallow: */embed

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Disallow: *utm=

Disallow: *openstat=

Allow: /product-tag

Disallow: /page*

Allow: */uploads

Allow: /*/*.js

Allow: /*/*.css

Allow: /wp-*.png

Allow: /wp-*.jpg

Allow: /wp-*.jpeg

Allow: /wp-*.gif

Allow: /wp-admin/admin-ajax.php

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /?

Disallow: /wp-

Disallow: /wp/

Disallow: *?s=

Disallow: *&s=

Disallow: /search/

Disallow: /author/

Disallow: /users/

Disallow: */trackback

Disallow: */feed

Disallow: */rss

Disallow: */embed

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Allow: /product-tag

Disallow: /page*

Allow: */uploads

Allow: /*/*.js

Allow: /*/*.css

Allow: /wp-*.png

Allow: /wp-*.jpg

Allow: /wp-*.jpeg

Allow: /wp-*.gif

Allow: /wp-admin/admin-ajax.php

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

действительно ли тут все верно?

Нормально всё у вас ;)