Все вопросы по robots.txt - 2

Не совсем из-за этого... Пошёл в терминах разбираться, спасибо)

каноникал возможно придется прогить, в зависимости от cms, а роботс - бесплатный.

Сайты вообще да, иногда приходится прогить.

Здравствуйте!

Подскажите, как закрыть от индекса или перенаправить на 404 страницы вида http://site.ru/2017/09/statya/12345/

Янедкс вебмастер при проверке страницы пишет:

Страница обходится роботом, но отсутствует в поиске.

Было N / a стало 200 OK

Дело в том, что при обходе в яндекс вебмастере появились сотни, таких страниц, в конце цифры,

И все-все на одну скромную статью. Видно кому то она не понравилась..

Сайт на wordpressе

Робот txt такой, вернее часть для яндекса:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /?

Disallow: /wp-admin

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /search/

Disallow: /author/

Disallow: /users/

Disallow: /*?*

Disallow: /?s=

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Allow: /wp-content/uploads/

Allow: */uploads

Allow: /*/*.js

Allow: /*/*.css

Allow: /wp-*.png

Allow: /wp-*.jpg

Allow: /wp-*.jpeg

Allow: /wp-*.gif

Allow: /wp-admin/admin-ajax.php

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Sitemap: http://site.ru/sitemap.xml.gz

Приветствую!

Как порезать конкретные параметры директивой Clean-delay вполне понятно, а как порезать произвольный запрос типа: /?123456789 ?

у меня в индексе вот такие страницы:

/?5702b20229a16f

/?875ed57369b61a

как их запретить через Clean-delay?

Вы, видимо, имели в виду Clean-param.

Нет, скорее всего, такие страницы подобным путём не убить. Т.к. Clean-param предполагает наличие определенного параметра. Вот если бы у вас было

/?sth=5702b20229a16f

то Вы могли бы написать Clean-param sth

а так..могу посоветовать поставить редирект всего, что содержит "?" после /

УмнО!

Правда, он не сказал, откуда взялись такие страницы. Если со ссылок извне, то редирект на работающую страницу самое то! Достойно, так сказать, Начальника Отдела! 😂

p.s. или чините внутренние, или запрет на ? в роботсе, но тут нужно смотреть структуру. Если оно на одной странице, это одно, а если на всех, и в некоторых местах применяются обычные параметры...

Да это страницы появившиеся из-за внешних ссылок. Кто-о прогнал по форумам с метровыми постами с массой ссылок и поставил такие url'ы, они попали в индекс.

Вот. Поэтому просто закройте в роботсе. Ну или принудительно отдавайте 404. И ни в коем случае не редирект. Потому что насрать на собственный сайт - это достойно только Руководителя SEO отдела)))))

Не пойму как закрыть в роботсе запросы без конкретных cgi-параметров, /?123456789 через Clean-param

или закрыть конкретные страницы которые сейчас в индексе?