Внимательно читал до. Первый пункт того поста - не устраним, по определению.
Извините.
Платный поиск? Голубая мечта ПС...🚬
Сравни выделенное и сделай вывод. Цифры говорят сами за себя
Почему же... Охватить и разыскать всю информацию, оченить ее ценность - это многого стоит. Иной раз достаточно 1-й фразы, то бы в голове все перевернулось и встало на свое место. Так что - 2 + с меня!:)
- А где же, как не на это форуме, поговорить именно о устройстве поисковых систем?
Именно с наблюдательной и аналитической точки зрения. Понимаю, что конкурентов у каждого тут не меньше чем 1:10. 🚬
И тем более ценно "выдача" на-гора чего-то конкретного.
AVV, Большое спасибо!
- Подхватил штанишки и побежал изучать ссылки!:)
Извините пожалуйста, но я Ваших логов не видел. У меня - не ходит в глубь...
По сему и спросил: - Как у других?
В статье И. Сегаловича, опубликованной в журнале "Компьютерра" №29 за октябрь 2002 года, сказано, что:
То есть - это могут быть, а скорее всего так и есть, РАЗНЫЕ программы.
Которые, комплексно, и называю "роботом", "ботом" и прочее...
Я, для себя, посто разделил...
Извините, но мне так удобнее понимать механизм работы Яня.
Сорри за оффтоп.
Термин "зеркальщик" може содержать в себе 3 варианта смыслов того, что он "зеркалит".
1-й вариант: Ответы Web-сервера на запрос "мой_сайт.ру/" и запрос "мой_сайт.ру/index.html" или
другой название файла, установленное по умолчанию и не всегда это "index.html".
2-й вариант: Ответы Web-сервера на запрос "мой_сайт.ру/" и запрос "ввв.мой_сайт.ру/"
Это хоть как-то поясняет, что он одновременно запросил и robots.txt.
Но, ту же самую информацию сегодня получил и "Yandex/1.01.001 (compatible; Win16; I)"
ДО(!) прихода "зеркальшика".
3-й вариант - "зеркалирование" 2-х разных сайтов не подтверждается, так как этот
робот не идет дальше по страницам сайта.
Ну, говорят: "Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов"
Предположим, что так.
Но по факту его запросов, см. ниже, я б поостерегся говорить, что это "зеркальщик".
Да и не понятно из такого, что он определяет как "зеркала"?
Типа: 2 домена - мой_сайт.ру и ввв.мой_сайт.ру
По моему это можно и так понять, без спец. робота...
"Зеркальность" 2-х разных сайтов тоже ж определяет Янь. Но не ботом ж...
А кто такой "Yandex/1.01.001 (compatible; Win16; H)" ?
Тоже обнюхал все сайты таким образом:
GET /
GET /robots.txt
