- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
di_max, у вас совсем соображаловка отсутствует ? Хотя бы так http://www.yandex.ru/yandsearch?stype=www&nl=0&text=Yandex%2F1.01.001+%28compatible%3B+Win16%3B+H%29 попробовали.
Ну, говорят: "Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов"
Предположим, что так.
Но по факту его запросов, см. ниже, я б поостерегся говорить, что это "зеркальщик".
Да и не понятно из такого, что он определяет как "зеркала"?
Типа: 2 домена - мой_сайт.ру и ввв.мой_сайт.ру
По моему это можно и так понять, без спец. робота...
"Зеркальность" 2-х разных сайтов тоже ж определяет Янь. Но не ботом ж...
По моему это можно и так понять, без спец. робота...
"Зеркальность" 2-х разных сайтов тоже ж определяет Янь. Но не ботом ж...
Надо же, абсолютный ноль в знаниях, однако "но не ботом ж..." Советовал бы заменить сегаловича, такой крупный специалист по алгоритмам безусловно пользуется спросом 😂
Ну, говорят: 😕 "Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов"
Предположим, что так.
Но по факту его запросов, см. ниже, я б поостерегся говорить, что это "зеркальщик".
http://webmaster.yandex.ru/faq.xml?id=502499#user-agent
А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?
У Яндекса есть несколько роботов, которые представляются по-разному.
* Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
* Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
* Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
* Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
* Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
* Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
* YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в
Если предположить, что во время апдейта 8 января действительно была потеряна индексная база, а следующий ап (11 января) был проведен по базе за конец прошлого года, то, возможно, следующий апдейт будет только после того, как Яндекс полностью по-новой проиндексирует весь рунет.
Возможно, этим и объясняется повышенная активность ботов.
Сорри за оффтоп.
Термин "зеркальщик" може содержать в себе 3 варианта смыслов того, что он "зеркалит".
1-й вариант: Ответы Web-сервера на запрос "мой_сайт.ру/" и запрос "мой_сайт.ру/index.html" или
другой название файла, установленное по умолчанию и не всегда это "index.html".
2-й вариант: Ответы Web-сервера на запрос "мой_сайт.ру/" и запрос "ввв.мой_сайт.ру/"
Это хоть как-то поясняет, что он одновременно запросил и robots.txt.
Но, ту же самую информацию сегодня получил и "Yandex/1.01.001 (compatible; Win16; I)"
ДО(!) прихода "зеркальшика".
3-й вариант - "зеркалирование" 2-х разных сайтов не подтверждается, так как этот
робот не идет дальше по страницам сайта.
http://webmaster.yandex.ru/faq.xml?id=502499#user-agent
Если предположить, что во время апдейта 8 января действительно была потеряна индексная база, а следующий ап (11 января) был проведен по базе за конец прошлого года, то, возможно, следующий апдейт будет только после того, как Яндекс полностью по-новой проиндексирует весь рунет.
Возможно, этим и объясняется повышенная активность ботов.
Согласен на все 100, та оно и будет, поэтому и не было сегодня апа как обычно
2-й вариант: Ответы Web-сервера на запрос "мой_сайт.ру/" и запрос "ввв.мой_сайт.ру/"
Это хоть как-то поясняет, что он одновременно запросил и robots.txt.
Но, ту же самую информацию сегодня получил и "Yandex/1.01.001 (compatible; Win16; I)"
ДО(!) прихода "зеркальшика".
Зеркальщик может запрашивать роботс на наличие директивы Host:
3-й вариант - "зеркалирование" 2-х разных сайтов не подтверждается, так как этот робот не идет дальше по страницам сайта.
di_max, ну почему же, не идет? Просматривает все страницы, а не только морду. Это неоднократно видно по логам.
Склеивает одинаковые страницы, и не только, кстати, на одном сайте.
Советовал бы заменить сегаловича, такой крупный специалист по алгоритмам безусловно пользуется спросом 😂
В статье И. Сегаловича, опубликованной в журнале "Компьютерра" №29 за октябрь 2002 года, сказано, что:
Модули хранения ссылок, модули отслеживания дубликатов... Докумеент обрабатывается HTML-парсером... Заметьте, что физически все эти этапы могут происходить в разных процессах или даже на разных компьютерах.."
То есть - это могут быть, а скорее всего так и есть, РАЗНЫЕ программы.
Которые, комплексно, и называю "роботом", "ботом" и прочее...
Я, для себя, посто разделил...
Извините, но мне так удобнее понимать механизм работы Яня.
di_max, ну почему же, не идет? Просматривает все страницы, а не только морду. Это неоднократно видно по логам.
Склеивает одинаковые страницы, и не только, кстати, на одном сайте.
Извините пожалуйста, но я Ваших логов не видел. У меня - не ходит в глубь...
По сему и спросил: - Как у других?
В статье И. Сегаловича... Заметьте, что физически все эти этапы могут происходить в разных процессах или даже на разных компьютерах.."
http://company.yandex.ru/inside/job/dev_search_developer.xml
Из чего можно заключить, что есть еще не поисковые, а другие кластеры, например, почтовый или фавиконовый, а также зеркальщик, работающий отдельно от поискового.
Работа зеркальщика заключается не только в определении основного зеркала с www или без www, а также, вероятно, и в определении дубликатов, которые не обязательно являются полными копиями других страниц. Может зеркальщик и десятисловия в тексте страницы считает, кто его знает...
http://company.yandex.ru/articles/article10.html
Очевидно, что так можно определять процент перекрытия текстов, выявлять все его источники и т.п.
и т.д.
di_max, кстати, автор этой статьи тоже Илья Сегалович.
Извините пожалуйста, но я Ваших логов не видел. У меня - не ходит в глубь...
Ходит, но не каждый день. Так, иногда.
Сегодня - ходит усиленно, у меня, во всяком случае.
AVV, Большое спасибо!
- Подхватил штанишки и побежал изучать ссылки!:)