Как собрать список категорий и разделов чужого сайта?

L
На сайте с 01.11.2012
Offline
201
387

Привет.

Есть сайт, средне-большой)

Яндекс по запросу site:конкурент.ру показывает 110 тысяч результатов

гугл - 95 тысяч

Как собрать все его категории и подразделы?

Карты сайта у него нет. sitemap.xml указанный в роботсе - не работает?

Чем можно собрать? Подскажите пожалуйста

Я думал Screaming Frogом сделать - но мне кажется это будет очень долго.

Градация уровней знаний в SEO: Pre-Junior / Junior / Strong Junior / Pre-Middle / Middle / Strong MIddle / Pre-Senior / Senior / Strong Senior. Я где-то между 3-4 м уровнем. К сожалению. Хочу больше. Мог бы больше.
W
На сайте с 08.02.2017
Offline
169
#1
limyh:
Как собрать все его категории и подразделы?

они же скорее всего есть в html коде главной страницы, если есть развернутое меню.

как вариант еще проверить, есть ли у разделов какая-то маска в урле

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
L
На сайте с 01.11.2012
Offline
201
#2

Хорошая мысль.

В коде главной страницы и вправду есть много разных урлов.

Но возникает вопрос - все ли там урлы?

Может ПОДКАТЕГОРИИ отдельных КАТЕГОРИЙ (адреса которых есть в коде главной) не показываются в коде главной страницы

их как бы не упустить

W
На сайте с 08.02.2017
Offline
169
#3
limyh:
Может ПОДКАТЕГОРИИ отдельных КАТЕГОРИЙ (адреса которых есть в коде главной) не показываются в коде главной страницы

их как бы не упустить

ну так зайди в нижнюю категорию из меню. будет ли на странице еще какое разделение

X
На сайте с 04.12.2018
Offline
279
#4

Сукотненько. Сами головой поработать не желаете?

Удобный съем позиций (http://allpositions.ru/redirect/58277)
L
На сайте с 10.02.2015
Offline
222
#5

Попросите, чтобы сделали сайтмеп.

Я у одного "конкурента" попросил.

L
На сайте с 01.11.2012
Offline
201
#6
livetv:
Попросите, чтобы сделали сайтмеп.
Я у одного "конкурента" попросил.

ахахахах!!!

Лучше вообще попросить конкурента прислать список всех своих разделов-категорий, чтоб не мучаться :)

Z
На сайте с 13.12.2009
Offline
452
#7

а чем скриминг фрог не устраивает? Воткнули на парсинг с утречка и занимаетесь своими делами. Как прожует, можете анализировать. За одно фишечки конкурента может спалите (если они есть)

Консультации, seo-аудиты - https://seo-consulting.su Профессионально и без воды

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий