Ок. Спасибо.
Но в поисковике этого нет. Там одинаковые копипастные статьи, в которых самое сложное условие Disallow: /tag/
Дайте, пожалуйста, ссылку на подробную инструкцию - что значит звездочка до слэша, после, что значит отсутствие слэша на конце и тп.
Огромное вам спасибо. Скачала Опера Mini. Через него войти удалось!
Поищите по форуму скрипт айболит. Скачайте его и запустите. Он найдет файл, который вам это прописывает.
У меня дублей как-то не наблюдалось раньше, кроме тех, которые в вордпресс по умолчанию. Те дубли, о которых я пишу, вы почитайте первое сообщение, появились после хакерских атак. Сейчас вирусов на сайте нет. Но эти страницы висят в вебмастере. Я знаю, что это результат взломов, однако, это не ответ на вопрос. С таким ответом и я могу помогать новичкам, написав "вас взломали". Я знаю, что взломали, но не при каждом взломе появляются вот такие странные бессмысленные адреса в огромных количествах. Поэтому я задала вопрос "что это", чтобы понять природу этих адресов, цель их генерации и тп.
Сейчас сайт чистый, однако несколько месяцев в вебмастере это все висит, и сайту, как мне кажется, не помогает.
По советам, услышанным здесь, я решила закрыть это в роботс. Сделать это с такими бессмысленным адресами сложнее, чем поставить вот так
Disallow: /tag/
Про форум. Он создается плагином Mingle Forum. В проиндексированных страницах ЯВ тем не было. А в исходном коде каждой темы было вот такое canonical=/forum/
В чем троллинг я не знаю, и честно говоря, значение этого слова мне не очень понятно.
У меня нет дублей. А те, что есть в любом вордпрессе (архивы, авторы, тэги и тп) давно занесены в роботс. Вордпресс автоматически вставлял каноникал на страницы уникальных комментариев, которые люди, живые люди пишут после записей, а также вставлял на темы форума. Т.е на сайте был форум, но он не индексировался совсем, потому что для тем каноникал указывал /forum/
Поэтому никак я не могла пожертвовать уникальным контентом ради части этого хлама, который можно занести в роботс.
Спасибо, уберу повторяющиеся Disallow
Весь этот хлам равномерно распределен по
Ресурс не найден (404)
Неверный формат документа
Документ не является каноническим
Причем страницы с одинаковой белибердой после /рубрика/пост/
распределены по всем этим группам совершенно равномерно.
Что касается canonical, я его удалила сейчас через functions.php, потому что WP выставлял его на комментарии и на темы форума. Так что сейчас, видимо, эта группа сильно опустеет, а замечаний еще прибавится. Я хочу, как тут посоветовали, занести весь хлам, который нашел Яндекс в Disallow, но нет знаний, а все статьи в Яндексе совершенно не дают полную инструкцию. В любом случае, после взломов и появления этих бредовых сочетаний график ошибок и замечаний выглядит вот так
Здесь вы себе противоречите. Говорите, что не закроет, а потом говорите, что как раз закроет все, содержащее /folder1/
В третий раз повторяю, что не запрещены к индексации.
Написала пока вот так.
Нашла в одной статье такую рекоммендацию
Disallow: */search.php?*
Сообщит, что не нужно сканировать страницы, которые содержат search.php с чем-то до и чем-то после него. А вы сказали поставить звездочку после слэша. Почему?
Страницы показываются не как запрещенные в роботс. С чего вы это взяли?
Что касается общих правил. Я уже пару недель назад поставила в роботс вот такое
Disallow: /?pview=
Тем не менее, как вы видите, все страницы, содержащие это, в ошибках и замечаниях на месте так и висят. Возможно, я забыла как раз эту звездочку.
Поэтому я спросила, писать ли целиком через директории
/blogs/15541331663174/ ?
не закроет ли это директорию /blogs/
Например, после взлома в каждой рубрике созданы сотни страниц типа типа
/рубрика/пост/37/
/рубрика/пост/181/
/рубрика/пост/180/
/рубрика/пост/178/
/рубрика/пост/153/
Эти пять цифр одни и те же всегда. Я написала в Роботс
Disallow: /153/
Disallow: /178/
Disallow: /180/
Disallow: /181/
Disallow: /37/
Значит, это неверно. Но никакой подробной инструкции, как писать роботс через Яндекс найти не могу. Причем тут "не хочу думать". У меня нет четкой подробной инструкции. Я бы просто по ней сделала и все.
Вебмастер говорит, что роботс правильный, но вот здесь использован недопустимый символ
Disallow: /?s=до+и+после
