Fetch as Google (Googlebot)

R
На сайте с 11.04.2015
Offline
6
476

Здрасте,

В гугле есть такой сервис/возможность спарсить страничку как гугл но эта фигня работает только c доменами которые verified by me in google webmonster а я хочу парсить конкурентов дабы выявить их возможные хитрые махинации.

Помогите, может знаете и возможно поделитесь сервисом или способом как можно достичь желаемого резальта?

Спасибо

TOBBOT
На сайте с 04.11.2014
Offline
41
#1

Посмотреть страницу через IPшник гугла можно: так или так

Подменить User-Agent на гуглботовксий можно через правку заголовков в любом языке программирования. Но наверняка есть плагины к лисе, которые также позволяют это делать.

Увы, не знаю, как подменить IP и User-Agent на гугловские одновременно.

По идее можно просто делать запрос cache:<адрес страницы> и там уже будет видно как гугл видит сайт.

Инструменты интернет-маркетинга - JLAB (http://jlab.io/) Бесплатная автоматизация с программой TOBBOT (http://tobbot.com/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий