Apple признал существование собственного веб-краулера – AppleBot

После многочисленных слухов по поводу веб-краулера Apple, компания, в конечном итоге, признала его существование. Apple добавил в свой справочный центр страницу, посвящённую так называемому AppleBot.

apple-logo-large-1920-800x450.jpg

Как указано на странице, AppleBot – веб-краулер Apple. Он используется для сбора данных для Siri и Spotlight.

Apple будет придерживаться правил robots.txt и мета-тегов robots. Если AppleBot не упоминается в robots.txt, Apple будет следовать указаниям для GoogleBot. Если вебмастер хочет заблокировать AppleBot и GoogleBot, достаточно заблокировать GoogleBot.

Если замечена необычная активность со стороны AppleBot, связаться со специалистами компании по этому вопросу можно по email: Apple-NOC@apple.com

В скорости после публикации информации об AppleBot, Apple Insider сообщил о том, что Apple «стремительно расширяет внутреннюю группу поиска» для построения собственной версии поисковой системы на базе Spotlight.

subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

Яндекс завершает эксперимент с Островами и дарит всем участникам по 10 Гбайт облачного пространства

Команда Яндекса официально сообщает, что эксперимент Яндекса с островной выдачей на beta.yandex.ru и islands.yandex.ru подошел к концу - обе площадки переходят в закрытый режим

Google закрывает PageSpeed

Google объявил о прекращении поддержки PageSpeed – платного cервиса для увеличения скорости загрузки сайтов. Он будет закрыт 3 августа 2015 года

Gemius: В марте 2015 года Яндекс возглавил список самых популярных ресурсов в России

По результатам ежемесячного исследования российской интернет-аудитории gemiusAudience, в марте 2015 года поисковая система и портал Yandex возглавил список самых популярных...

Searchmetrics: Частота появления PLA в поисковой выдаче Google выросла на 118% в 2014 году

В 2014 году частота появления Товарных объявлений (PLA) в поисковой выдаче Google увеличилась на 118%, сообщается в новом отчёте Searchmetrics

На сервисе Prodvigator появилась база Google.UK

Сервис для анализа конкурентов Prodvigator запустил базу данных для Великой Британии из поисковой системы Google

Klout добавил фактор компетентности в определение показателя влиятельности Klout Score

Сервис социальной аналитики Klout объявил о добавлении компетентности в определённой области в число факторов, на основании которых рассчитывается показатель влиятельности...