Как правильно парсить выдачу Google?

12
GS
На сайте с 19.05.2017
Offline
53
1097

У нас есть инструмент, которым можно проверить позиции своего сайта в ПС Google.

Но в последнее время точность упала, пользователи стали жаловаться, наш метод стал неэффективным.

Парсим так, делаем запрос к гуглу со следующими параметрами:

&q=text

&num=100

&cr=countryRU (в зависимости от региона)

&uule=... (в зависимости от региона)

персонализация обходится отправлением запроса без кук.

_______________________________________

Если Вы знаете как правильно парсить выдачу Google в 2019 году, напишите, реализуем. :popcorn:

P.S. Это нужно для одного известного сервиса, каждый день позиции им бесплатно проверяют тысячи пользователей.

FM
На сайте с 02.09.2015
Offline
45
#1

То есть персонализация выдачи, ротация выдачи и прочие страшные слова вас не смущают?

GS
На сайте с 19.05.2017
Offline
53
#2
freezy_mind:
То есть персонализация выдачи, ротация выдачи и прочие страшные слова вас не смущают?

я же написал как мы обходим персонализацию, а ротация тут по моему вообще не в кассу ☝

FM
На сайте с 02.09.2015
Offline
45
#3
GRESIUS:
я же написал как мы обходим персонализацию, а ротация тут по моему вообще не в кассу ☝

Ну это вы обходите без кук и знаете об этом. А я, как заказчик, вааще не знаю что такое куки, инкогнито и пр. Открываю гугл и проверяю. Вы говорите в сервисе что я занимаю 3 позицию, а я вижу 8 - Персонализированная выдача. И таких сейчас очень много.

Плюс, выдача мобильная и выдача декстопная сииииильно отличаются.

GS
На сайте с 19.05.2017
Offline
53
#4
freezy_mind:
То есть персонализация выдачи, ротация выдачи и прочие страшные слова вас не смущают?
freezy_mind:
Ну это вы обходите без кук и знаете об этом. А я, как заказчик, вааще не знаю что такое куки, инкогнито и пр. Открываю гугл и проверяю. Вы говорите в сервисе что я занимаю 3 позицию, а я вижу 8 - Персонализированная выдача. И таких сейчас очень много.
Плюс, выдача мобильная и выдача декстопная сииииильно отличаются.

Согласен, это тоже часть проблемы, но проверял лично ручками, все сделал как написал, сервис определил что сайт к примеру на 10 позиции, а его нет в топ-100, да и многие пользователи жалются, сервисы конкурентов тоже показывают по другому (проверял ручками, примерно сошлось).

SmileP
На сайте с 18.02.2010
Offline
386
#5
GRESIUS:
Но в последнее время точность упала,

Так и точной позиции нет.

png 1.png
SmileP
На сайте с 18.02.2010
Offline
386
#6

Некая средняя позиция в рамках дня.

В Яндекс вебмастере есть распределение- 1, 2-3, 4-10, 11-50.

GRESIUS:
да и многие пользователи жалются
GRESIUS:
я же написал как мы обходим персонализацию

Можно попробовать пользователям обходить персонализацию... Или объяснить. Ну такое.

ИМХО, позиции "здесь и сейчас" сейчас не главное. Смотреть по ним скорее динамику нужно.

GS
На сайте с 19.05.2017
Offline
53
#7
SmileP:
Некая средняя позиция в рамках дня.
В Яндекс вебмастере есть распределение- 1, 2-3, 4-10, 11-50.



Можно попробовать пользователям обходить персонализацию... Или объяснить. Ну такое.

ИМХО, позиции "здесь и сейчас" сейчас не главное. Смотреть по ним скорее динамику нужно.

Чтобы вывести среднее значение позиции за день, нужно несколько раз в этот день узнать точную позицию, ну и вывести среднее значение по дню. Тут вопрос в другом, не получается спарсить с выдачи Google точную позицию в текущий момент, обойти эти разные заморочи типа геопривязки, персонализации и т.д. наши методы неэффективны. Как получать 100% правильную выдачу (без персонализации, с правильной геопривязкой и т.д.)?????? 🍿

bridal777
На сайте с 06.11.2008
Offline
244
#8

А 100% вы ее все равно не получите - ибо учесть все переменные просто невозможно. На данный момент. Для того гугл и мутит свои алгоритмы :)

Я сверяю позиции несколькими платными и бесплатными сервисами - не говоря о том, что все результаты разнятся - зайдя в выдачу лично часто вижу что-то совершенно иное :)

Качественный push трафик по самым лучшим ценам от прямых источников! Успей купить POP трафик от 0.05$ CPM до конца февраля!( https://realpush.net )
FM
На сайте с 02.09.2015
Offline
45
#9
GRESIUS:
Как получать 100% правильную выдачу (без персонализации, с правильной геопривязкой и т.д.)?????? 🍿

Никак. Вы уже сами ответили на свой вопрос.

не получается спарсить с выдачи Google точную позицию в текущий момент, обойти эти разные заморочи типа геопривязки, персонализации и т.д. наши методы неэффективны.

Чтобы бороться с врагом, нужно знать как он работает. А Вы удосужились почитать хотя бы Справку Google?

GS
На сайте с 19.05.2017
Offline
53
#10
freezy_mind:

Чтобы бороться с врагом, нужно знать как он работает. А Вы удосужились почитать хотя бы Справку Google?

Мда. Что касается моего вопроса, там ответа на него нет.

Вот в который раз убеждаюсь, что здесь ответ на вопрос получить практически невозможно, все ходят вокруг да около, строят из себя не пойми кого (умников), но на деле толку от этого ровно ноль ☝

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий