Чуть не удалил свой сайт из индекса :) Будьте осторожны!

Он может и не выкинуть такую несуществующую страницу, если его бот определяет что на нее есть ссылки.

Как раз такая ситуация с /?cat=60 или /?cat=-1

ЧПУ включены, но бот почему то нашел что несколько страниц на них ссылаются, где /?cat=60 это, как правильно подметил SeoNizator, рубрика с ID=60,

а вот что такое /?cat=-1 это я не знаю, и могу лишь предполагать что это глюк WP, скорей всего благодаря какому нибудь плагину. Но вот где

бот нашел эти ссылки я без понятия. Страницы которые указаны в WMT как ссылающиеся, в своем коде таких ссылок не содержат, и кстати,

не содержат ссылки на категории вообще.

Z-Style добавил 07.12.2010 в 02:08

попробуйте в WMT сдалать заявку на удаление страницы вида /?*

где "*" - любые символы

Z-Style добавил 07.12.2010 в 02:12

Кстати, не совсем понял, какой другой метод? Если вы имеете в виду мета тег noindex, то он конечно прописан на 404 странице.

Z-Style добавил 07.12.2010 в 02:16

А теперь чуточку ясности:

Никаких дублей нет, этих страниц в индексе нет, они присутствуют только в ошибках сканирования в WMT. И хоть я их "удаляю" через тот же WMT, понимаю что нужно не пытаться их удалить а удалить то их породило, что в свою очередь найти не могу и не понимаю откуда взялось :)

ЗЫ: не хотел я разводить демагогию на счет этих ошибок, хотел только предупредить о том что по невнимательности можно удалить свой сайт их индекса.

что вы имеете ввиду?

сохранить мульён страниц, выводя вместо дубль контента что-то другое вроде карты сайта7 тс вас не понял, скажите прямо

Для особо одаренных:

Контент дублируется за счет создания несуществующих страниц, генерируемых движком и так или иначе попадающих в индекс. Страница одна, а адресов у нее несколько, например, за счет тех же сессий, яркий пример форумы. Там может на одну страницу вести 10 адресов. Для ПС каждый адрес - это отдельная страница, но контент одинаковый.

По теме:

Как пишет Гугл, достаточно запретить страницы в робот.тхт и они постепенно отвалятся, но для ускорения естественно лучше подать заявку на удаление из кэша. Я как-то сдуру поставил рейтинг, так он столько урлов-дублей понакидал в кэш, что жуть берет. 200 страниц сайта + рейтинг вкинул порядка 1500 еще дублей)) После отключения в кеше все это висело ещё порядка года, хоть в роботе и запрещено было. Ручками заявки подавал, вроде отвалилось постепенно все.

Ясно кто одарен.

Если сервер отдает статус 404, то Google плевать хотел на метатэги и на любое содержание страницы. Такой страницы для него не существует. Другое дело — внутренние ссылки, ведущие на такие страницы. Такие ссылки вредят.

Он должен выкинуть без вариантов. Если не выкидывает, значит сервер отдает статус 200. Качайте Live HTTP Headers и проверяйте.

а говорите ничего не поняли ) Нужно продолжать искать дальше, потому как лишние ссылки вредят внутренней оптимизации, и если они продолжат появляться "ниоткуда", это может означать присутствие внешних ссылок на эти страницы. Если это так, то исключить ошибку 404 и поставить тег noindex,follow или

если при этом если страница дублирует контент, то для этого у гугла есть инструмент: НУЖНО на этой странице ставить тег link rel="canonical" или редирект на главную

robots.txt - файл, от использования которого, в этом случае, следует отказаться полностью, потому как запрещенная к индексации зона является той черной дырой, куда без эффекта сливается ваш рейтинг. Кроме того робот при сканировании не увидит за ней ни 404 страницы, ни дубля, ни... Ошибка по мнению гугла не перестанет существовать!

Для того что бы избежать таких зон ставьте скриптовые ссылки или ссылки с использованием формы post. В случае, если они появляются "случайно" нужно продолжать искать причину, как только нашли внутреннюю причину то устраняем ее и ставим на эти страницы ошибку 404, гугл исключит их сам, без удаления!

я вам так же по русски написал что действительно нужно, а в вашем случае это не нужно а "желательно хотя бы" , но не более.

+1000000

более прямо сказать и не мог )

можете внести в какой нибудь faq у меня нет своего сео блога )

зы очень редко отвечаю на вопросы, но их тут накопилось уж очень много...

Не так. SDee, в принципе объяснил, что к чему, но возможно не понятно для плохо знающих CMS.

Многие CMS (и ВП и Джумла и др) обладают таким свойством, что к одной и той же странице можно обратится по разным урлам. (site.ru/page/,site.ru/page, site.ru/page.php, site.ru/?page=1 site.ru/index.php?page=1&art=34 может указывать на одну страницу)

Кроме того, станицы категорий, архивов, календари и тп содержат контент страниц (а это ведь другие страницы).

Ок. Соглашусь. (я как-то забыл, что некоторым ГС-строителям нужно именно кол-во страниц в индексе, а не реальное кол-во страниц сайта :) )

Первым делом нужно взять КСЕНУ и прочекать сайт.

Вторым обратить внимание на ссылающиеся страницы. Особенно если это профили или комменты - не исключен взлом ВП. Потому третье - зайти по подозрительным урлам с ИП страны для которой проставлены беки (те если на русском - значит с российских ИП).

Я бы еще посмотрел в базу ВП. Лишние юзеры, лишние категории, посты и тд. Именно в базу, а не в админку ВП. И проверил бы хтакцесс.

Хах, ну надо же! У меня недавно была совершенно сходная ситуация, когда через WMT страницы удаляла..))

народ , я случайно полоторы недели назад удалил один раздел , как его вернут ь в индекс ? ( за полторы недели ничего не проиндексировалось )

Ждать теперь несколько месяцев или менять все URL.