Антоний Казанский

Антоний Казанский
Рейтинг
796
Регистрация
12.04.2007
Должность
Частный интернет-маркетолог и SEO специалист
Интересы
Интернет-маркетинг, SEO, интернет реклама
Подробности на сайте https://akazansky.ru
annaov #:
Только адреса голых URL для последующего парсинга
annaov #:
когда у сайта нет открытого sitemap
annaov #:
а структура каталога полностью не раскрывается, страницы выдаются либо от поисковых запросов, либо от тегов, или обрезанной пагинации.

Ага, понятно, вот это уже ясно сформулированная задача.

Тогда. Если нет карты сайты, то перечень рабочих URL адресов мы можете получить только в процессе краулинга (т.е. фактического обхода по сайту через внутренние ссылки).

1. В настройках отключаете переобход картинок, js/css файлов.

2. В настройках извлечения (Extraction) отключаете всё, кроме title заголовков.

3. В настройках robots ставите ignore robots.txt (игнорирование инструкций robots)

4. В настройках скорости лучше поставить Max Threads - 3

5. В настройках User-Agent - GoogleBot

И вперед. 

По результату анализируете URL-ы.

annaov :
Мне нужны только адреса страниц сайта

Нужно только адреса страница сайта - что? Собрать/получить или по готовому списку проанализировать?

Сформулируйте более полно свою рабочую задачу.

Если получить информацию по отдельным адресам, то переключаетесь в режим анализа списка ссылок,

выбираете ручной ввод,

вставляете в рабочее окно перечень нужным вам URL адресов,


нажимаете кнопку "Next" - начнётся процесс сбора данных по указанным вами адресам.

Если просто список URL адресов сайта нужен, то загляните в XML карту сайта, можно взять оттуда.

Sindorian :
Как поисковики узнают о поведении пользователя после захода на страницу, чтобы учесть "поведенческие факторы"?

По инструментам отслеживания (выше вам об этом уже рассказали).


Sindorian :
После клика в поиске поисковик никак не может знать что делает посетитель на посещенной странице, кроме как с помощью установленных вебмастером кодов с метриками, типа Яндекс.Метрика и тд.

Если Метрики нет, то данных фактически будет собираться меньше. Но это как раз не в вашу пользу.


Sindorian :
Значит ли это что установка на сайт кодов со всякими я.метриками и гугл аналитиксами критически необходима для SEO?

Для профессиональной и точечной работы - да, эти инструменты необходимы, но в частном порядке вы можете обходится и без них (здесь уровень требований и задачи у всех разные).


Sindorian :
Мне, например, они не нужны, у меня самописная статистика посещений, а установка этих кодов влияет на скорость загрузки страницы, например, что еще один важный фактор для SEO.

Скорость загрузки в любом случае надо оптимизировать, а по части установки кодов - их можно использовать с отложенной загрузкой. 

alexverem :
Некоторые открытые сервисы показывают часть запрсоов, напр pr-cy

Да, в демонстрационном режиме - часть данных.


alexverem :
Можно ли получить более развернутую картину?

Да, заплатив за полный доступ.


alexverem :
Желательно бесплатные, но можно и платные сервисы )

Кейсо как основной вам уже посоветовали, в бесплатном режиме можно использовать Букварис.

Также Мегаиндекс и Xtool


alexverem #:
У мегаиндекс подешевле тарифы (месячный)

Да, Мегаиндекс заметно дешевле.


alexverem #:
как у них с данными по ключевым запросам конкурентов?

Заметно меньше, но для стартовой работы вполне будет достаточно.

За полноценный сервис конечно надо платить.

ArtRS :
Что посоветйте, на что можно переключиться и чем быстрее, тем лучше?

Сложный вопрос. Переключиться с чем? С деньгами/без денег? Как собственник или как специалист с какими-то навыки онлайн торговли? 

Организация нового бизнеса - это одна история, работа по найму - другая. Тут у вас надо спрашивать, кем вы себя видите.

Dram #:
~<a(.*)(id="(.*)")(.*)</a>~gmU

Так здесь любое значение для id=" "

ТС нужно конкретное значение -  download.  

geotron #:

Почему не нужно так делать?

Хочется чтобы вес с внутренних (на которые есть бэклинки) не потерялся.

Здесь я не соглашусь с  estic 

Если у вас идет речь о дропе, который  вы всё равно будете подклеивать к основному сайту, то категории дропа с одной стороны могут быть нерелевантны реципиенту, с другой стороны самому дропу совершенно не нужны, но нужен в чистом виде ссылочный вес, если на эти категории есть внешние ссылки. В этом смысле вы действительно можете переклеить категории с Главной и уже с Главной дропа передавать результирующий вес на целевой сайт - реципиент.

Yandex-007 #:
нужно ещё установить антидетект браузер для накрутки ПФ

Антидетект браузер поможет для анонимных заходов, для накрутки ПФ одного браузера мало. Хотя тут смотря что называть накруткой. Если выполнять задания на буксах, то пойдет, но это уже совсем другая тема.

Главным образом, 4Gb для интернет серфинга, не говоря уже для потоковой обработки - это очень мало.

Надо минимально расширяться до 8Gb, а лучше до 16-32Gb. А вот на CPU (в пользу оперативной памяти) можно сэкономить и взять тот же i5. Большой разницы вы всё равно не почувствуете, а вот без расширении памяти вы далеко не уедете.

alaev #:
Только тебе этот камень погоды не сделает.

Совершенно верно, последние несколько версий работают начиная с 10-ки, а значит ОС в любом случае менять.

Yandex-007 #:

Материнская плата ASRock H81M-VG4 R2.0

На сайте данной материнской платы есть список поддерживаемых процессов - ссылка

Ну раз такое дело, то пробуйте. Хотя я бы на вашем месте всё равно всё детально уточнил у специалистов, которые постоянно занимаются этими вопросами. 

p.s. Часть средств я бы вложил в расширение памяти. По современным меркам 4Gb - это очень мало.

А уж используя последние версии таких программ как Фотошоп, вы будете мучатся с обработкой файлов.

Всего: 12801