Яндекс vs Google в России

Slavomir
На сайте с 05.12.2005
Offline
107
#91
Ladycharm:
Уровня лог-файлов совершенно достаточно, если понимать, что такое HTTP-код 304 и как работает кэширование на стороне клиента.

Код 304 означает только одно - бот запросил страницу, которая не изменилась на сайте. Вместо контента страницы сервер отдаёт код 304 и бот оставляет в индексе старую страницу.

Курите ФАК Яндекса п 6., в Google - то же самое.

Вот, что бывает, когда не знают элементарных основ. Вы помимо ФАКов сначала бы основы выучили. Вы наглядно продемонстрировали, что ни хрена вы не понимаете. Курите http://ru.wikipedia.org/wiki/%D1%EF%E8%F1%EE%EA_%EA%EE%E4%EE%E2_%F1%EE%F1%F2%EE%FF%ED%E8%FF_HTTP#3xx

304 Not Modified — сервер возвращает такой код, если клиент запросил документ методом GET, использовал заголовок If-Modified-Since или If-None-Match и документ не изменился с указанного момента. При этом сообщение сервера не должно содержать тела. Появился в HTTP/1.0.

У вас в лог-файлах фиксируется, какие заголовки были отправлены ботом? Сомневаюсь. Тогда с чего вы решили, что бот всегда отправляет этот заголовок? С чего вы решили, что бот всегда доверяет коду 304 и никогда не проверяет реальное содержимое страницы? Для гарантированного получения содержимого страницы он не должен отправлять заголовок If-Modified-Since. С какого перепоя вы решили, что код 200 означает, что страница индексируется ботом впервые?

Вакансии удаленной работы (http://www.telejob.ru) Найди удаленного исполнителя (http://www.telejob.ru)
богоносец
На сайте с 30.01.2007
Offline
754
#92
gutako:
следующий Вьетнам
ashmanov.com/company/news/i265

Мы продолжаем развивать нашу собственную поисковую систему Wada, запущенную во Вьетнаме в конце 2011 года. Благодаря естественному продвижению и сотрудничеству с Opera Mobile у поисковика появилась своя стабильная база пользователей, которые помогли нам улучшить качество поиска. За декабрь 2012 года ресурс посетили 700 000 уникальных пользователей.

Wada — не единственный наш «азиатский» проект. В октябре 2012 года мы вывели на вьетнамский рынок Noron.vn — локализованную версию уже известного российского сервиса «Маремото», разработанного нашей компанией.

Сервис Noron.vn позволяет вести низкобюджетные рекламные кампании с оплатой за результат. Для оптимизированных ресурсов он выводит в топ от 60% до 100% запросов. На декабрь 2012 года сервисом пользуются 750 клиентов, которые зарегистрировали 1500 сайтов и 2600 ключевых слов.
roem.ru/2012/01/20/addednews41605/?c#message115390

Ну посудите сами. Вот, допустим, у меня в руках оказался вьетнамский поиск, лидер рынка. Ну или обладатель хотя бы второй орбитали по Воложу, скажем, 25%.
А в другом моём вьетнамском СП - сервисы продвижения сайтов в поисковиках. Ну естественно, тоже лидер рынка.
Не кажется ли вам, что это чудовищно, невероятно удобно? Что это и есть земное, осязаемое воплощение многовековой хрустальной мечты интернетчиков - Кнопки "Рубить Бабло"?

Если надо кого продвинуть - пожалуйста.
Если надо почистить выдачу от продвигаемых сайтов - ещё более пожалуйста.
Надо забомбить поискового конкурента продвигаемыми сайтами - да с нашим удовольствием!
Понизить конкурента в выдаче: не стоит беспокоиться, уже вчера!

Вообще связка поисковика и оптимизатора таит в себе море неизведанных удовольствий.

. .

L
На сайте с 07.12.2007
Offline
351
#93
Slavomir:
У вас в лог-файлах фиксируется, какие заголовки были отправлены ботом? Сомневаюсь. Тогда с чего вы решили, что бот всегда отправляет этот заголовок?

А вы-то с чего решили, что нет?

Включите соответствующий уровень логгирования веб-сервера и посмотрите заголовки сами (возможно для этого придётся поставить модуль mod_security или dumpio).

Если не дружите с Apache или не хватает прав доступа - то же самое можно организовать и средствами PHP - записывайте в файл переменные $_SERVER['HTTP_IF_NONE_MATCH'])) и $_SERVER['HTTP_IF_MODIFIED_SINCE'].

И сразу перестанете сомневаться.

Slavomir:
С чего вы решили, что бот всегда доверяет коду 304 и никогда не проверяет реальное содержимое страницы?

Эксперименты проводила когда софт писала для управления кешированием и ускорения индексации многостраничных сайтов.

А вы с чего решили, что нет?

Попробуйте всегда отдавать для страниц сайта 304. И посмотрите, будет ли изменяться контент в кэше ПС.

А можете сразу проверить как боты Яндекса отработают <meta http-equiv="expires"> с датой где-нибудь на 2015 год.

Slavomir:
Для гарантированного получения содержимого страницы он не должен отправлять заголовок If-Modified-Since.

Да-ну на! Вы слабо подготовились к уроку:

- он может отправить его с устаревшей/неправильной/будущей датой, и тоже получит 200 ОК + содержимое страницы.

Чтобы более правдоподобно надувать щёки, вам надо ещё про If-None-Match и ETag почитать, эти http-заголовки тоже управляют кэшированием на стороне клиента.

Ида - далее изучайте тему самостятельно, я больше вам азы разжевывать не буду :)

Slavomir
На сайте с 05.12.2005
Offline
107
#94
Ladycharm:
Ида - далее изучайте тему самостятельно, я больше вам азы разжевывать не буду :)

Вах, с такой распальцовкой, вероятно, дверные проемы пришлось расширять, чтобы в них проходить не боком? Или по крабьи теперь передвигаетесь? Долго же вы поисковик мучили, чтобы про моды и глобальные переменные PHP накопать. Вот только вы совершили фатальную ошибку. Человек у которого подобные данные анализируются не будет писать "А вы с чего решили, что нет?", "он может", а будет оперировать конкретными показателями и данными. Так что не надо надувать щеки, тем более, когда говорите глупости.

Особенно понравилось, как вы сами себе вилы в бок ткнули, когда сначала написали:

Ladycharm:
Сравните количество ответов сервера "304 Not Modified" - Google запрашивает большинство урлов повторно, в то время как Яндекс - индексирует их впервые.

а потом сами себе противоречите:

Ladycharm:
он может отправить его с устаревшей/неправильной/будущей датой, и тоже получит 200 ОК + содержимое страницы.

Может, конечно, а штаны можно через голову надевать, но почему-то одна штанина все время лишней оказывается. Ну хоть чему-то заставил вас поучится, а значит глупости на форуме поменьше станет. Надеюсь, в следующий раз подумаете, прежде чем какую-то чушь сморозить.

A
На сайте с 16.07.2010
Offline
23
#95
Slavomir:

Причем здесь ГС и причем здесь кэш? Я описал статистику одного из своих сайтов. Сайт под пингвином с самого начала его ввода. Поэтому дал статистику и до введения пингвина. У Яндекса сайт на хорошем счету. Впрочем, забыл указать, что сайт достаточно крупный. Думаю, статистика запросов робота сайта с сотней страниц и несколькими десятками посетителей в сутки будет значительно отличаться от статистики сайта с десятками тысяч страниц и тысячами посетителей в сутки.

Извиняюсь, не то сообщение взял в цитату.

_
На сайте с 11.07.2008
Offline
90
#96
Химик78:
очевидно, что Яндекс боится сравнения с Гуглом. У Яндекса сейчас не хватает ресурсов, чтобы оперативно индексировать Рунет, а уж на весь интернет подавно его мощностей не хватит. Разница в объемах, как понимаю, раз в пятьдесят.

да там еще и разница в способе обработки и добавления в индекс.

Предоставляю услуги программирования и администрирования. Бесплатная фриланс биржа (https://allfreelancers.su/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий