- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Заметил такую интересную особенность: если заходит бот Yandex/1.01.001 (compatible; Win16; I) Russian (ru, uk;q=0.8, be;q=0.8, en;q=0.7) - сайт индексируется; а вот если Yandex/1.01.001 (compatible; Win16; I) Russian (ru, uk, be, en, *;q=0.01) - ждать индексации придется долго.
ИМХО значение (ru, uk, be, en, *;q=0.01) указывает на приоритетность идексации.
по-моему БСК, это обычный для любого http-клиента заголовок (бота или браузера без разницы) Accept-Language.
по-моему БСК, это обычный для любого http-клиента заголовок (бота или браузера без разницы) Accept-Language.
Согласен.
Но тогда почему значения так существенно отличаются?
Есть разница между 0,8 и 0,01?
После первого сайт индексируется, после второго - нет.
Яндекс предпочитает пожирать сайты в домене ru. Все остальные зоны он почему-то игнорирует.
Это мягко говоря неверно.
У меня русскоязычный сайт в зоне com индексируется яндексом.
Правда как-то странно.
Страницы попадают в индекс через пару месяцев после появления.
Но, с другой стороны и ссылок внешних было очень мало.
Но тогда почему значения так существенно отличаются?
Есть разница между 0,8 и 0,01?
отличаются, видимо, потому что разные версии ботов и их так закодили. Имхо по принципу вот торкнуло программеров воткнуть именно такую циферку при написании. И вообще Accept-Language очень нечасто движками сайтов учитывается.
не читал, но осуждаю. :D Прям русская рулетка получается, 1 бот зайдет, дело в шляпе, другой - смерть.
В общем, я бы не стал искать причину индексации\неиндексации сайтов в http-заголовках, которые отсылаются ботом, вот чесное слово.
отличаются, видимо, потому что разные версии ботов и их так закодили. Имхо по принципу вот торкнуло программеров воткнуть именно такую циферку при написании.
Программеры просто так никогда ничего не делают - сужу по своему опыту.
ИМХО
1. Быстроробот (D) проглатывает страницу (морду).
2. Проводится анализ слов на странице.
3.1. Если были обнаружены некие стоп-слова, на сайт засылается бот (I который 0,01), который отслеживает наличие этих слов и сайт в индекс не включается до устранения.
3.2. Если неких стоп-слов на сайте не обнаружено, заходит бот (I который 0,8) и с аппетитом пожирает сайт, после чего тот попадает в индекс.
1. Быстроробот (D) проглатывает страницу (морду).
.
D это не быстроробот, а Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Вообще, так видно что гдето робот шарит, но похоже вяло...
D это не быстроробот
От этого суть теории не меняется.
Неважно, был сайт добавлен через аддурлку или найден по ссылке, все равно он подвергается анализу на наличие неких слов (имхо).
На мой сателлит, который не индексируется, по Яндексу ссылается страниц — 651, сайтов — не менее 185.
не верю (С) мои последние сайты вообще не имеют на себе никаких признаков оптимизации контента. Везде нормальные читаемые тайтлы, нормальный контент, все сайты не сателиты, а сделаны для людей и с нужными сервисами.
нормальный контент
Это какой? :)
мои последние сайты вообще не имеют на себе никаких признаков оптимизации контента
Мой сайт тоже сделан для людей и в других поисковых системах присутствует в ТОП1 по нужным мне запросам.
Вероятно, что это автоматический фильтр против СПАМа.
Предлагаю обсудить это в отдельной теме.