- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите пожалуйста, можна ли (конечно без потерь в поиске и тп) запретить гулять по сайту роботу Mercator-2.0 с atrax3.pa-x.dec.com
Вроде DEC уже и не существует, а робот невероятно активен, практически ежедневно перелопачивает весь сайт. Зачем? Может он обслуживает какой-то интересний сайт?
Может он обслуживает какой-то интересний сайт?
Этот интересный сайт называется www.altavista.com
Оба-на!
Спасибо за подсказку.
Я думал, що робот алтависты - buildrack78.sv.av.com или что-то в этом роде (где-то в логах встречал)
То есть IP робота buildrack78.sv.av.com а сам робот Scooter конечно.
Их робот называется Меркатор. Автор - Марк Найорк. Разработчики Альтависты (не путать с порталом Альтависта принадлежащем CMGI) раньше работали в составе DEC, потом они назывались Compaq Research Center, а теперь, наверное, "HP чего-то-там".
Доменное имя dec - унаследовано, естественно.
Вообще-то, робот поисковой машины AltaVista называется Scooter - это любому оптимизатору известно как "дважды два".
http://www.searchengineworld.com/spiders/altavista_boxes.htm
Mercator же является частью коммерческого продукта Alta Vista Search Engine 3.0 и для оптимизаторов интереса практически не представляет.
я бы не был таким категоричным.
http://www.webmasterworld.com/forum11/1558.htm
http://www.webmasterworld.com/forum11/385.htm
http://www.searchengineworld.com/spiders/ip_addresses/altavista.htm
http://www.spiderhunter.com/spiderlist/spiderinfo.txt
Q: Is Mercator from Altavista?
A: It was formerly run from Compaq/Dec.com. Word has it, that the new Scooter is actually the old Mercator. The old Mercator from dec.com appears to have been retired. Yes, it is AV.
http://www.webmasterworld.com/forum1/1621.htm
From what I've seen, mercator seems to be part of the "submit a site" process, while scooter is the autonomous web-crawler. And there's also a scooter variant with "qa" in the name that may be a dead-link checker.
Суммирую.
mercator - это имя робота ("программы"), которую написали в альтависте для большого веба, марк рассказал про нее на конференции, а потом уже (независимо) ее встроили в av search engine 3.0
имя user-agent-а может быть как scooter так и mercator да и вообще каким угодно (там кстати сейчас новый робот (!) написан - я запамятовал как его зовут). другое дело, что scooter это их старое первоначальное брендовое имя, которое они стараются употреблять где возможно (для совместимости)
в общем meractor который ходит с dec - это безусловно altavista.
а вот mercator который ходит с fireball.de или matavnet.hu - это, да, согласен, altavista search engines v 3.0, купленный соответствующим порталом. только спрашивали не про него.
Любопытный факт - полез в хелп АлтаВисты, чтоб посмотреть, как же они там идентифицируют своего робота, а там - молчок.
Обнаружил лишь следующее:
16. I don't want my private pages listed on AltaVista. What can I do to prevent listing?
AltaVista crawlers obey the Robots Exclusion Standard. This standard allows you to indicate to visiting robots, such as the AltaVista crawlers, which parts of your site should not be visited by the robot. If you would like the AltaVista crawlers to not crawl and index your Web site, please read the Robots Exclusion Standard and add a robots.txt file to your Web pages. AltaVista's crawler also recognizes these metatag exclusion options:
Что ж мне в robots.txt так и писать в поле User-agent: AltaVista crawlers? :D
Что ж мне в robots.txt так и писать в поле User-agent: AltaVista crawlers? :D
Я думаю, что робот альты понимает и слушается директив как для scooter так и для mercator.
Может оно и так. А может, и нет. Но в хелпе могли бы написать, как робота кличут.
Но в хелпе могли бы написать, как робота кличут.
А у них было написано, но зачем-то это удалили. На этой странице и здесь видно, что робота зовут Scooter / VScooter.
С уважением,
Александр Садовский.