Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Что это за робот?

LM
На сайте с 19.04.2010
Offline
39
love_money
462

Сегодня на одном из моих сайтов обнаружил робота Web Core / Roots которого впервые вообще вижу, что это за паук такой и к какой поисковой системе он относится?

1
На сайте с 28.07.2008
Offline
68
1sus
#1
love_money:
Сегодня на одном из моих сайтов обнаружил робота Web Core / Roots которого впервые вообще вижу, что это за паук такой и к какой поисковой системе он относится?

http://www.google.ru/search?q=Web+Core+/+Roots&hl=ru&newwindow=1&source=lnt&tbs=lr:lang_1ru&lr=lang_ru&sa=X&ei=gyM_TN24COGVONHI8McH&ved=0CAcQpwU

LM
На сайте с 19.04.2010
Offline
39
love_money
#2
1sus:
http://www.google.ru/search?q=Web+Core+/+Roots&hl=ru&newwindow=1&source=lnt&tbs=lr:lang_1ru&lr=lang_ru&sa=X&ei=gyM_TN24COGVONHI8McH&ved=0CAcQpwU

Остроумно конечно, но перед тем как тут написать я уже загуглил, в гугле ничего путного не нашёл.

1
На сайте с 28.07.2008
Offline
68
1sus
#3
love_money:
Остроумно конечно, но перед тем как тут написать я уже загуглил, в гугле ничего путного не нашёл.

Значит ищем лучше. В первом же варианте есть ответ.

http://www.robotstxt.org/db/core.html

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий