Огромное спасибо!
Уже читаю...
:)
Нашел ответ на свой 3) вопрос:
http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html
Всем спасибо за ответы !
Вобщем разобрался с языками. Но возникли другие вопросы :)
1) Допустим, есть у меня сайт-мап, как гугловский краулер будет его сканить: по одному урлу - шаг за шагом, или запустит несколько потоков? Можно ли этим как-то управлять (в robots.txt или как-то еще) ?
2) У меня веб приложение, пользователей порядка 100тыс. Т.е. у меня на сайт-мапе будет несколько десятков (может сотен) тысяч урлов 🙄 ? Гуглу все равно?
3) Я хочу предоставить гуглу доступ к своим запароленным страницам, для этого я должен быть уверен, что запрос пришел от гугла, как в этом убедиться? у него определенное имя домена, фиксированный IP aдрес ??? где-то об этом написано?
Знаю, что используется специальный user agent, но его можно "подделать" .
