У меня дублей как-то не наблюдалось раньше, кроме тех, которые в вордпресс по умолчанию. Те дубли, о которых я пишу, вы почитайте первое сообщение, появились после хакерских атак. Сейчас вирусов на сайте нет. Но эти страницы висят в вебмастере. Я знаю, что это результат взломов, однако, это не ответ на вопрос. С таким ответом и я могу помогать новичкам, написав "вас взломали". Я знаю, что взломали, но не при каждом взломе появляются вот такие странные бессмысленные адреса в огромных количествах. Поэтому я задала вопрос "что это", чтобы понять природу этих адресов, цель их генерации и тп.
Сейчас сайт чистый, однако несколько месяцев в вебмастере это все висит, и сайту, как мне кажется, не помогает.
По советам, услышанным здесь, я решила закрыть это в роботс. Сделать это с такими бессмысленным адресами сложнее, чем поставить вот так
Disallow: /tag/
Про форум. Он создается плагином Mingle Forum. В проиндексированных страницах ЯВ тем не было. А в исходном коде каждой темы было вот такое canonical=/forum/
В чем троллинг я не знаю, и честно говоря, значение этого слова мне не очень понятно.
У меня нет дублей. А те, что есть в любом вордпрессе (архивы, авторы, тэги и тп) давно занесены в роботс. Вордпресс автоматически вставлял каноникал на страницы уникальных комментариев, которые люди, живые люди пишут после записей, а также вставлял на темы форума. Т.е на сайте был форум, но он не индексировался совсем, потому что для тем каноникал указывал /forum/
Поэтому никак я не могла пожертвовать уникальным контентом ради части этого хлама, который можно занести в роботс.
Причем страницы с одинаковой белибердой после /рубрика/пост/
распределены по всем этим группам совершенно равномерно.
Что касается canonical, я его удалила сейчас через functions.php, потому что WP выставлял его на комментарии и на темы форума. Так что сейчас, видимо, эта группа сильно опустеет, а замечаний еще прибавится. Я хочу, как тут посоветовали, занести весь хлам, который нашел Яндекс в Disallow, но нет знаний, а все статьи в Яндексе совершенно не дают полную инструкцию. В любом случае, после взломов и появления этих бредовых сочетаний график ошибок и замечаний выглядит вот так
Не закроет, читайте элементарную справку по роботс. Disallow /folder1/folder2/ закроет все содержит и начинается на site.ru/folder1/folder2/*, и ничего больше.
Здесь вы себе противоречите. Говорите, что не закроет, а потом говорите, что как раз закроет все, содержащее /folder1/
Если запрещены к индексации
В третий раз повторяю, что не запрещены к индексации.
Сообщит, что не нужно сканировать страницы, которые содержат search.php с чем-то до и чем-то после него. А вы сказали поставить звездочку после слэша. Почему?
Страницы показываются не как запрещенные в роботс. С чего вы это взяли?
Что касается общих правил. Я уже пару недель назад поставила в роботс вот такое
Disallow: /?pview=
Тем не менее, как вы видите, все страницы, содержащие это, в ошибках и замечаниях на месте так и висят. Возможно, я забыла как раз эту звездочку.
адрес не может начаться на /&post= ( site.ru/&post= ), правильно - /*&post=-
Поэтому я спросила, писать ли целиком через директории
/blogs/15541331663174/ ?
не закроет ли это директорию /blogs/
Например, после взлома в каждой рубрике созданы сотни страниц типа типа
/рубрика/пост/37/
/рубрика/пост/181/
/рубрика/пост/180/
/рубрика/пост/178/
/рубрика/пост/153/
Эти пять цифр одни и те же всегда. Я написала в Роботс
Disallow: /153/
Disallow: /178/
Disallow: /180/
Disallow: /181/
Disallow: /37/
Значит, это неверно. Но никакой подробной инструкции, как писать роботс через Яндекс найти не могу. Причем тут "не хочу думать". У меня нет четкой подробной инструкции. Я бы просто по ней сделала и все.
Вебмастер говорит, что роботс правильный, но вот здесь использован недопустимый символ
Ок. Спасибо.
Но в поисковике этого нет. Там одинаковые копипастные статьи, в которых самое сложное условие Disallow: /tag/
Дайте, пожалуйста, ссылку на подробную инструкцию - что значит звездочка до слэша, после, что значит отсутствие слэша на конце и тп.
Огромное вам спасибо. Скачала Опера Mini. Через него войти удалось!
Поищите по форуму скрипт айболит. Скачайте его и запустите. Он найдет файл, который вам это прописывает.
У меня дублей как-то не наблюдалось раньше, кроме тех, которые в вордпресс по умолчанию. Те дубли, о которых я пишу, вы почитайте первое сообщение, появились после хакерских атак. Сейчас вирусов на сайте нет. Но эти страницы висят в вебмастере. Я знаю, что это результат взломов, однако, это не ответ на вопрос. С таким ответом и я могу помогать новичкам, написав "вас взломали". Я знаю, что взломали, но не при каждом взломе появляются вот такие странные бессмысленные адреса в огромных количествах. Поэтому я задала вопрос "что это", чтобы понять природу этих адресов, цель их генерации и тп.
Сейчас сайт чистый, однако несколько месяцев в вебмастере это все висит, и сайту, как мне кажется, не помогает.
По советам, услышанным здесь, я решила закрыть это в роботс. Сделать это с такими бессмысленным адресами сложнее, чем поставить вот так
Disallow: /tag/
Про форум. Он создается плагином Mingle Forum. В проиндексированных страницах ЯВ тем не было. А в исходном коде каждой темы было вот такое canonical=/forum/
В чем троллинг я не знаю, и честно говоря, значение этого слова мне не очень понятно.
У меня нет дублей. А те, что есть в любом вордпрессе (архивы, авторы, тэги и тп) давно занесены в роботс. Вордпресс автоматически вставлял каноникал на страницы уникальных комментариев, которые люди, живые люди пишут после записей, а также вставлял на темы форума. Т.е на сайте был форум, но он не индексировался совсем, потому что для тем каноникал указывал /forum/
Поэтому никак я не могла пожертвовать уникальным контентом ради части этого хлама, который можно занести в роботс.
равнозначны. В конце ставить звездочку не нужно.
Спасибо, уберу повторяющиеся Disallow
Весь этот хлам равномерно распределен по
Ресурс не найден (404)
Неверный формат документа
Документ не является каноническим
Причем страницы с одинаковой белибердой после /рубрика/пост/
распределены по всем этим группам совершенно равномерно.
Что касается canonical, я его удалила сейчас через functions.php, потому что WP выставлял его на комментарии и на темы форума. Так что сейчас, видимо, эта группа сильно опустеет, а замечаний еще прибавится. Я хочу, как тут посоветовали, занести весь хлам, который нашел Яндекс в Disallow, но нет знаний, а все статьи в Яндексе совершенно не дают полную инструкцию. В любом случае, после взломов и появления этих бредовых сочетаний график ошибок и замечаний выглядит вот так
Здесь вы себе противоречите. Говорите, что не закроет, а потом говорите, что как раз закроет все, содержащее /folder1/
В третий раз повторяю, что не запрещены к индексации.
Написала пока вот так.
Allow: /sitemap/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: /*?pview=
Disallow: /*?pview=*
Disallow: /forum1/
Disallow: /category/
Disallow: /inbox/
Disallow: /profile/
Disallow: /tag/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /author/
Disallow: /attachment/
Disallow: /account/
Disallow: /activity/
Disallow: /directory/
Disallow: /login/
Disallow: /js/
Disallow: /search/
Disallow: */feed/
Disallow: /?s=
Disallow: /wp-login.php
Disallow: /xmlrpc.php?rsd
Disallow: /%D1%81%D0%B0%D0%B9%D1%82%D1%8B-%D0%B4%D1%80%D1%83%D0%B7%D1%8C%D1%8F/feed/
Disallow: /*&post=-
Disallow: /*?p=*
Disallow: /*&post=-*
Disallow: /*?p=
Disallow: /*?page_id=
Disallow: /*?page_id=*
Disallow: /blinks/
Disallow: */11310937790/
Disallow: */11411320502548/
Disallow: */12871339186833/
Disallow: */13411328038785/
Disallow: */1531306421034/
Disallow: */15541331663174/
Disallow: */16291334149013/
Disallow: */16351334355498/
Disallow: */20581339764607/
Disallow: */31303383589/
Disallow: */3851305175937/
Disallow: */3851305344979/
Disallow: */3851305352296/
Disallow: */3851305450863/
Disallow: */3851305453403/
Disallow: */41303387078/
Disallow: */4401306575111/
Disallow: */6601316505968/
Disallow: /*profile&id=1615
Disallow: /*profile&id=
Disallow: /*profile&id=*
Disallow: */7621314255567/
Disallow: */8081315232030/
Disallow: */dobro-pozhalovat-v-moj-dnevnik/
Disallow: /catalog/
Disallow: /*function.session-start
Disallow: /license.txt
Disallow: /profile.php
Disallow: /2007/01/post_4.html
Disallow: /readme.html
Disallow: /function.require
Disallow: /comment-page-1/
Disallow: /?s=до+и+после
Disallow: /1/
Disallow: /forum/?page=1
Disallow: /*?f=*
Disallow: /*?f=
Disallow: /forum/?mingleforumaction=viewtopic&t=35.1
Disallow: /forum/?mingleforumaction=viewtopic&t=60
Disallow: /*?sort=new&filter=1d
Disallow: /*?sort=new&filter=1m
Disallow: /*?sort=new&filter=3d
Disallow: /*?sort=new&filter=7d
Disallow: /*?sort=new&page=1
Disallow: /*?sort=new_posts&filter=1d
Disallow: /*?sort=new_posts&filter=1m
Disallow: /*?sort=new_posts&filter=3d
Disallow: /*?sort=new_posts&filter=7d
Disallow: /*?sort=new_posts&page=1
Disallow: /*?sort=new_posts&page=2
Disallow: */chashechku%20-kofe/
Disallow: /*?ids=
Disallow: /*?ids=*
Disallow: /*?trashed=
Disallow: /*?trashed=*
Disallow: */153/
Disallow: */178/
Disallow: */180/
Disallow: */181/
Disallow: */37/
Нашла в одной статье такую рекоммендацию
Disallow: */search.php?*
Сообщит, что не нужно сканировать страницы, которые содержат search.php с чем-то до и чем-то после него. А вы сказали поставить звездочку после слэша. Почему?
Страницы показываются не как запрещенные в роботс. С чего вы это взяли?
Что касается общих правил. Я уже пару недель назад поставила в роботс вот такое
Disallow: /?pview=
Тем не менее, как вы видите, все страницы, содержащие это, в ошибках и замечаниях на месте так и висят. Возможно, я забыла как раз эту звездочку.
Поэтому я спросила, писать ли целиком через директории
/blogs/15541331663174/ ?
не закроет ли это директорию /blogs/
Например, после взлома в каждой рубрике созданы сотни страниц типа типа
/рубрика/пост/37/
/рубрика/пост/181/
/рубрика/пост/180/
/рубрика/пост/178/
/рубрика/пост/153/
Эти пять цифр одни и те же всегда. Я написала в Роботс
Disallow: /153/
Disallow: /178/
Disallow: /180/
Disallow: /181/
Disallow: /37/
Значит, это неверно. Но никакой подробной инструкции, как писать роботс через Яндекс найти не могу. Причем тут "не хочу думать". У меня нет четкой подробной инструкции. Я бы просто по ней сделала и все.
Вебмастер говорит, что роботс правильный, но вот здесь использован недопустимый символ
Disallow: /?s=до+и+после