Почему иногда страницы индексируются без html на конце адреса?

Просто ждите.

У меня с одним сайтом сейчас похожая ситуация - переезд на движок, где забыли расширение прописать, где-то ссылка стояла кривая и т.п.

Страница меняется, минимум, через 2-3 недели.

Если редирект не ставить, а 404, то чуть дольше.

Не торопитесь, все произойдет само как надо.

Эх, ждать тяжело:)

2-3 недели - за такой срок становится уже не так интересно:)

Мы все-таки пошли на эксперимент.

Я нашел 3 страницы, которые в индексе без html.

И мы сделали:

Одну страницу - код 404.

Вторую - редирект.

Третью - код 410.

И сейчас будем ждать, как эти три страницы проиндексируются.

Вчера робот опять заходил, но индексы остались без html.

Должен яндекс убрать из индекса хотя бы те страницы, которые указаны с кодами 404 и 410.

может и полгода убирать :)

на вопрос в службу поддержки, ответят что со временем всё исправится :)

Были такие случаи? Если сайт живой, модифицируется, если даже робот на него ходит через день. То хочется надеяться, что выкинет неправильный индекс.

А у Вас сколько и на каком сайте пришлось ждать?

Да, а служба поддержки yandexа - как дважды два=четыре.

Так же верно и так же бесполезно:))

страница из поиска достаточно быстро вылетела, а вот сообщение об ошибке в вебмастере весело еще около года, потом просто весь сайт несколько раз меняли, хотя после первого раза был откат к старой версии примерно через месяц при этом в индексе уже были новые странице, а при откате в вебмастете опять появилась старая ошибка :)

Вот здесь ссылка на описание подобной проблемы.

/ru/forum/comment/7494342

Если сервер Apache, 2.0 и выше, то в нем есть возможность корректно поправить такую неприятность.

Спасибо.

Проблема интересная.

Общая формулировка проблемы - если есть несколько вариантов обращения к одной странице, то есть вероятность, что яндекс посчитает это дубликатами. И тогда могут возникнуть последствия.

Тут возникает доп. вопрос:

Как яндекс две страницы может посчитать дублем? Должен ли он обе страницы проиндексировать, или он может одну проиндексировать, а то, что вторая дубль - это он может куда-то себе записать, но не в индекс?

Получится, что яндекс будет на нас иметь зуб, а мы этот зуб не увидим?

Vasily1234 добавил 25.03.2011 в 13:47

Сегодня страница с html появилась в индексе!! Прошло 9 дней с момента установки редиректа.

А два дня назад мы вместо редиректа поставили 404 код.

Сейчас я тут же убрал 404 код и вернул редирект.

Но вот чего я не ожидал совсем - в индексе осталась и страница без html !

Теперь там ( в индексе) две страницы явно дублирующие.

По разбору подобной ситуации осталось впечатление, что в панели дублированные страницы будут показаны, более того, после установки 404 на ненужные дубли санкции снимутся раньше, чем страница пропадет из индекса после ее удаления через панель ВМ, и роботы еще долго будут проверять наличие удаленных страниц.

Проверьте еще доступ к страницам по протоколу https:, если попадете на те же страницы, то они то же могут проиндексироваться (проверено, и после установки редиректа так и висит в индексе).

И всё это оказалась фигня :))

На следующий день страница вывалилась из индекса!

И обратно яндекс страницу правильно и уверенно проиндексировал только вчера 07.04.11

Ну и, понятное дело, страница в первый же день подскочила в выдаче аж на 26 место по основной ключевой фразе.

Предполагаю, что в ближайшую неделю страница войдет в первую десятку (на основании того, что в гугле она на 8 месте).

вот такой редирект помешает:

RewriteCond %{REQUEST_URI} (.*\/[^\/.]+)($|\?)
RewriteRule ^(.*)$ $1.html [R=301,QSA,L]

ко всем адресам без слеша или суффикса на конце - добавляет .html

PS: сайт на Joomla? SEF включён, а добавление суффиксов не включено? тогда включите суффиксы и не ломайте голову...