Забавно то, что пока вроде только яндекс применяет баны к страницам с результатами поиска. Почему интересно Гугл не сделает те же правила учитывая что объем проиндексированных страниц у него на порядок больше. ИМХО, он просто не придает веса подобным страницы а не банит как яндекс.
espada: Думаю, главная ошибка - в том, что данные для поиска передаются через GET, а не через POST. В результате адреса результатов поиска совпадают с адресами, на которые ведут прямые внутренние ссылки. А в случае с POST они бы не совпадали, потому что page.php и page.php?id=чтототам¶m=чтотоеще - это для Яндекса разные страницы.
Ну и кроме того, для поиска можно создать отдельный скрипт, состоящий из одной строчки require('основной_скрипт'); - и этот файл прописать в роботсе, как неиндексируемый.
Хотя выдаваться будет по-прежнему одно и то же, но результаты поиска и результаты перехода по внутренним ссылкам будут разведены по разным УРЛам.
Я думаю это единственный возможный вариант в таком случае. Иначе половина динамическиз сайтов была бы запрещена к индексации. Ну посмотрим, когда сайт появится в индексе, тогда разведу по отдельным страницам. Сейчас рисковать не особо хочется.
Такой вот приятный подарок от яндекса - минимум месяц испорченного настроения :)😡
Как раз дело в том, что кроме как через результаты поиска попасть на детали объявления нельзя. Т.е. для раздела скажем "Все объявления по продаже ВАЗ" используется та же страница, что и выводит результаты поиска когда юзеры делает запрос через форму поиска. Получается, нужно будет создавать отдельные страницы для таких целей - через форму поиска выводится одна страница, а через, например, ссылку "Все объявления по продаже ВАЗ" - другая. Но смысл в этом ... содержимое будет одно и то же, только попадут на них разными способами. Я надесю яндексу такое наконец-то понравится
Ну почему же большой ДОР :))) Мне нужно чтобы страница с деталями каждого объвления была проиндексирована. Если яндекс не разрешает индексировать результаты поиска, то как попасть то собственно боту на страницу с самим объявлением? Получается, что никак уже? Или мне нужно отдельно создавать какие то sitemap для бота чтобы он попадал на новые объявления?
IRobert: Если страницы результатов поиска будут закрыты для индексирования, то бот Яндекса не проиндексирует их, а => не пойдет по ссылкам с этих страниц. ☝
Тогда становится вопрос - а как тогда пустить бота на такие страницы? Скажем, на моем сайте выводятся результаты поиска с объявлениями. Если я эти страницы закрою, как мне сделать чтоб бот попал на страницы с самими деталями каждого объявления? Никак получается?
А еще вот такой вопрос - если страницы результатов поиска будут закрыты для индексирования, бот яндекса все равно же пойдет по ссылкам, которые есть на этих страницах? Т.е. только сами эти страницы только будут исключены с базы проиндексированных страниц?
Запретите индексацию старых урлов в robots.txt
Запретил сразу же
Забавно то, что пока вроде только яндекс применяет баны к страницам с результатами поиска. Почему интересно Гугл не сделает те же правила учитывая что объем проиндексированных страниц у него на порядок больше. ИМХО, он просто не придает веса подобным страницы а не банит как яндекс.
В общем, это уже пошли детали :) Проблему понял, спасибо всем за советы. Буду ждвть свонго возвращения в яндекс 😡
Думаю, главная ошибка - в том, что данные для поиска передаются через GET, а не через POST. В результате адреса результатов поиска совпадают с адресами, на которые ведут прямые внутренние ссылки. А в случае с POST они бы не совпадали, потому что page.php и page.php?id=чтототам¶m=чтотоеще - это для Яндекса разные страницы.
Ну и кроме того, для поиска можно создать отдельный скрипт, состоящий из одной строчки require('основной_скрипт'); - и этот файл прописать в роботсе, как неиндексируемый.
Хотя выдаваться будет по-прежнему одно и то же, но результаты поиска и результаты перехода по внутренним ссылкам будут разведены по разным УРЛам.
Я думаю это единственный возможный вариант в таком случае. Иначе половина динамическиз сайтов была бы запрещена к индексации. Ну посмотрим, когда сайт появится в индексе, тогда разведу по отдельным страницам. Сейчас рисковать не особо хочется.
Такой вот приятный подарок от яндекса - минимум месяц испорченного настроения :)😡
Значит, это проблема кривого движка, а не яндекса.
Ну так легко сказать. Диагноз "кривой движок" можнолюбому сайту поставить.
Как раз дело в том, что кроме как через результаты поиска попасть на детали объявления нельзя. Т.е. для раздела скажем "Все объявления по продаже ВАЗ" используется та же страница, что и выводит результаты поиска когда юзеры делает запрос через форму поиска. Получается, нужно будет создавать отдельные страницы для таких целей - через форму поиска выводится одна страница, а через, например, ссылку "Все объявления по продаже ВАЗ" - другая. Но смысл в этом ... содержимое будет одно и то же, только попадут на них разными способами. Я надесю яндексу такое наконец-то понравится
Ну почему же большой ДОР :))) Мне нужно чтобы страница с деталями каждого объвления была проиндексирована. Если яндекс не разрешает индексировать результаты поиска, то как попасть то собственно боту на страницу с самим объявлением? Получается, что никак уже? Или мне нужно отдельно создавать какие то sitemap для бота чтобы он попадал на новые объявления?
Если страницы результатов поиска будут закрыты для индексирования, то бот Яндекса не проиндексирует их, а => не пойдет по ссылкам с этих страниц. ☝
Тогда становится вопрос - а как тогда пустить бота на такие страницы? Скажем, на моем сайте выводятся результаты поиска с объявлениями. Если я эти страницы закрою, как мне сделать чтоб бот попал на страницы с самими деталями каждого объявления? Никак получается?
Ок, спасибо за советы всем :)
А еще вот такой вопрос - если страницы результатов поиска будут закрыты для индексирования, бот яндекса все равно же пойдет по ссылкам, которые есть на этих страницах? Т.е. только сами эти страницы только будут исключены с базы проиндексированных страниц?
Ну они был проиндексированы еще очень давно.