Почему же... Охватить и разыскать всю информацию, оченить ее ценность - это многого стоит. Иной раз достаточно 1-й фразы, то бы в голове все перевернулось и встало на свое место. Так что - 2 + с меня!:)
AVV: P.S. Статья И.Сегаловича http://company.yandex.ru/articles/article10.html "Как работают поисковые системы", на мой взгляд, действительно на редкость интересная, хотя и написана несколько лет назад.
- А где же, как не на это форуме, поговорить именно о устройстве поисковых систем?
Именно с наблюдательной и аналитической точки зрения. Понимаю, что конкурентов у каждого тут не меньше чем 1:10. 🚬
И тем более ценно "выдача" на-гора чего-то конкретного.
AVV: di_max, ну почему же, не идет? Просматривает все страницы, а не только морду. Это неоднократно видно по логам.
Склеивает одинаковые страницы, и не только, кстати, на одном сайте.
Извините пожалуйста, но я Ваших логов не видел. У меня - не ходит в глубь...
Miha Kuzmin (KMY): Советовал бы заменить сегаловича, такой крупный специалист по алгоритмам безусловно пользуется спросом 😂
В статье И. Сегаловича, опубликованной в журнале "Компьютерра" №29 за октябрь 2002 года, сказано, что:
"За передним краем - модулем скачивания - стоят другие модули...
Модули хранения ссылок, модули отслеживания дубликатов... Докумеент обрабатывается HTML-парсером... Заметьте, что физически все эти этапы могут происходить в разных процессах или даже на разных компьютерах.."
(выделение мое)
То есть - это могут быть, а скорее всего так и есть, РАЗНЫЕ программы.
Которые, комплексно, и называю "роботом", "ботом" и прочее...
Я, для себя, посто разделил...
Извините, но мне так удобнее понимать механизм работы Яня.
Прочитайте хоть несколько страниц темы, если все не осилить.
Внимательно читал до. Первый пункт того поста - не устраним, по определению.
Извините.
Я бы лучше Яндексу платил, хоть понятно за что.
Платный поиск? Голубая мечта ПС...🚬
...показывает на 4000 посетителей больше чем Rambler TOP100 (при общем количестве... 2000 посетителей в день по версии Rambler)
Почему такая разница? Может ли это быть признаком накрутки счетчика сайта конкурента?
Сравни выделенное и сделай вывод. Цифры говорят сами за себя
di_max, не стоит благодарности. :)
Почему же... Охватить и разыскать всю информацию, оченить ее ценность - это многого стоит. Иной раз достаточно 1-й фразы, то бы в голове все перевернулось и встало на свое место. Так что - 2 + с меня!:)
P.S. Статья И.Сегаловича http://company.yandex.ru/articles/article10.html "Как работают поисковые системы", на мой взгляд, действительно на редкость интересная, хотя и написана несколько лет назад.
- А где же, как не на это форуме, поговорить именно о устройстве поисковых систем?
Именно с наблюдательной и аналитической точки зрения. Понимаю, что конкурентов у каждого тут не меньше чем 1:10. 🚬
И тем более ценно "выдача" на-гора чего-то конкретного.
AVV, Большое спасибо!
- Подхватил штанишки и побежал изучать ссылки!:)
di_max, ну почему же, не идет? Просматривает все страницы, а не только морду. Это неоднократно видно по логам.
Склеивает одинаковые страницы, и не только, кстати, на одном сайте.
Извините пожалуйста, но я Ваших логов не видел. У меня - не ходит в глубь...
По сему и спросил: - Как у других?
Советовал бы заменить сегаловича, такой крупный специалист по алгоритмам безусловно пользуется спросом 😂
В статье И. Сегаловича, опубликованной в журнале "Компьютерра" №29 за октябрь 2002 года, сказано, что:
Модули хранения ссылок, модули отслеживания дубликатов... Докумеент обрабатывается HTML-парсером... Заметьте, что физически все эти этапы могут происходить в разных процессах или даже на разных компьютерах.."
То есть - это могут быть, а скорее всего так и есть, РАЗНЫЕ программы.
Которые, комплексно, и называю "роботом", "ботом" и прочее...
Я, для себя, посто разделил...
Извините, но мне так удобнее понимать механизм работы Яня.
Сорри за оффтоп.
Термин "зеркальщик" може содержать в себе 3 варианта смыслов того, что он "зеркалит".
1-й вариант: Ответы Web-сервера на запрос "мой_сайт.ру/" и запрос "мой_сайт.ру/index.html" или
другой название файла, установленное по умолчанию и не всегда это "index.html".
2-й вариант: Ответы Web-сервера на запрос "мой_сайт.ру/" и запрос "ввв.мой_сайт.ру/"
Это хоть как-то поясняет, что он одновременно запросил и robots.txt.
Но, ту же самую информацию сегодня получил и "Yandex/1.01.001 (compatible; Win16; I)"
ДО(!) прихода "зеркальшика".
3-й вариант - "зеркалирование" 2-х разных сайтов не подтверждается, так как этот
робот не идет дальше по страницам сайта.
di_max, у вас совсем соображаловка отсутствует ? Хотя бы так http://www.yandex.ru/yandsearch?stype=www&nl=0&text=Yandex%2F1.01.001+%28compatible%3B+Win16%3B+H%29 попробовали.
Ну, говорят: "Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов"
Предположим, что так.
Но по факту его запросов, см. ниже, я б поостерегся говорить, что это "зеркальщик".
Да и не понятно из такого, что он определяет как "зеркала"?
Типа: 2 домена - мой_сайт.ру и ввв.мой_сайт.ру
По моему это можно и так понять, без спец. робота...
"Зеркальность" 2-х разных сайтов тоже ж определяет Янь. Но не ботом ж...
А кто такой "Yandex/1.01.001 (compatible; Win16; H)" ?
Тоже обнюхал все сайты таким образом:
GET /
GET /robots.txt