Я не видит новые страницы, зато видит те, которые удалены погода назад

Было две проблемки похожих у меня когдато.

Первой уже больше года наверно и она висит без изменений.

Вторую исправил за две-три недели.

1. Как то на одном форуме решил подшутить над другом и создал на его блек лист. Ну показал ему его. Вместе посмеялись и блек я удалил. А Яндекс-шустрый успел ту страничку укомунистить и теперь по запросу "icq 700008" в первой таблице тот блек. Убрать его я не смог ибо форум не мой, хотя тему и удалил.

2. Есть у меня один из сайтиков подконтрольных. Как то была примерно схожая ситуация. Кодер отлаживал скрипт и на странице которая была заточена под жирненький запрос, местами выползали ошибки майскуловские. НУ Яндекс не дурак и уворовал контент и повесил его на мой запрос и на парочку других. После у меня по моим запросам в яндексе выползал мой контент в перемешку с маскуловскими ошибками.

Вот от второго случая я избавился тем, что полностью поменят страницу (имя файла и адрес его). Поменял все ссылки на сайте на новый адрес. Сделал так что при старом обращении к файлу выдовалась 404 от сервера. Воткнул на главной ссылку на эту страницу(по мимо ссылок из меню). Ну и нагнал около 50 внешних ссылок на мою новую страничку.

Контент практически не менялся от старого, первоночального варианта, просто без маскуловских ошибок.

Через полторы недельки Я проиндексировал эту страницу и через дня 4-5 в запросах уже выдовался новый вариант.

У меня есть придчуствие , что если к тебе обратиться по мёртвому адресу. То сервер выдаст что угодно но не 404. Скорее всего или просто скрипт напишет о нерабочей ссылке или будет редерикт на еррор страницу. Попробуё яще подсовывать 404

Проверьте, какой хедер отдает сервер. Скорее всего, он не возвращает 404 ошибки, поэтому Яндекс и не выкидывает страницы из поиска.

Та же проблема. В начале апреля у крупного сайта сменился весь массив уров, старые страницы отдают 404. До сих пор Яндекс не выкинул их из индекса, хотя запрашивает регулярно и каждый раз получает 404. Новых страниц до сих пор проиндексировано очень мало - около 300 из 50 000.

smoky, Вы бы, еще домен посоветовали сменить :) :) :) :) :)

Корректный if-modified-since для существующих и 404 на удаленные - должно помочь.

самое простое - написать в саппорт, мне помогло, удалили из базы порядка 20 страниц без проблем, причем довольно быстро. не принебрегайте общением с яндексом - это, в конце концов, их работа и как минимум в их же интересах не гадить неработающим мусором свой серп.

Должно. Но не помогает...

Удалить старые из базы не проблема - можно это сделать через robots, на который Яндекс реагирует гораздо быстрее, чем на 404. Но тогда вместо 20 000 в базе Яндекса останется 300 страниц, а это сведет на нет траффик...

(пришедшим с Яндекса посетителям 404 не получают - для них нормальные страницы)

Как заставить Яндекс ходить на новые страницы, а не забирать по сотому разу 404-е?

Можно в роботсе указать, какие страницы не индексировать, зайти на яндекс и удалить страницы из индекса, так намного быстрее.

вопрос в том: почему не не видит старые (это не такаяж и проблема), а не видит новые

и что делать будете?