- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день, коллеги и просто интересующиеся)
Возник очень интересный нюанс при парсинге Гугла... Меня интересует перебор всех страниц пользователей на определенном сайте. Для того чтобы любимый Гоша выдал то, что я ищу я ввожу следующий запрос:
Как известно, гугл, как и большинство других поисковых систем, даёт спарсить только 1000 результатов выдачи (хоть, порой, и находит значительно больше...) Но, после ввода данного запроса видим вот что:
Гоогле выдает всего один результат и "ненавязчиво" спрашивает: "Хотите ли вы увидеть еще N кол-во однотипных результатов?" - Соглашаемся и кликаем, после чего уже видим, что Гоогле съел 872к профилей с данного сайта (минус пару тысящ мусорных страниц, возможно попавших сюда же). НО, прокручивая выдачу вниз - видим всего 50, блин 50 (!) результатов из 872к, О_о WTF, господа?
Собственно, назревает вопрос: "Как мне вытянуть все эти (или большую часть, но не 50 же...) УРЛы профилей с сайта?"
Как бороться с такой "дескриминацией" от Гугла? :madd:
Разве никто не знает как с таким бороться?
Разве никто не знает как с таким бороться?
Предложите денег за работу,
и знатоки быстро найдутся.
d4k
Мда, в соседней ветке обсуждают, там парсер ТС'a вытягивает больше 1000 с гоши, пообщайтесь с ним ;)
Спасибо, очень заманчивый парсер. Но, у меня есть свой))
Вопрос стоит в том, что я, как юзер, задаю запрос и, при многотысячной выдаче, Гугл мне дает увидеть всего 50(!) результатов... С чем это связано ? Баг, или настройки поиска (еще чего-либо?)
Спасибо, очень заманчивый парсер. Но, у меня есть свой))
Вопрос стоит в том, что я, как юзер, задаю запрос и, при многотысячной выдаче, Гугл мне дает увидеть всего 50(!) результатов... С чем это связано ? Баг, или настройки поиска (еще чего-либо?)
Скорее один из алгоритмов оптимизации отсекает лишние результаты... Не баг.
Если я правильно понял, то Вы попадаете на так называемые "сопли" или "опущенные результаты", причина тут только одна - это дубли страниц. По этому Вам их и не показывают.
Цитата:
"Просмотр профиля *" site:http://forum.guitarplayer.ru/index.p...ion=profile;u= -inurl:topic
Может попросить парсер погуглить каждую из этих страниц по списку, составляющему (кладу руку на хрустальный шар) 40815 строк, но с нумерацией начиная единицей и до 95429 (часть пользователей - удалены.):
с "Kuzmitch"
site:http://forum.guitarplayer.ru/index.php?action=profile;u=1 -inurl:topic
до "Anton Undegro"
site:http://forum.guitarplayer.ru/index.php?action=profile;u=95429 -inurl:topic
нужно копать в сторону search api. Но и там есть лимиты.
"Как мне вытянуть все эти (или большую часть, но не 50 же...) УРЛы профилей с сайта?"
если речь идет о конкретно профилях на сайте, то имхо лучше их с самого сайта и парсить, не привлекая к этому гугл