Как найти новые сайты (запущенные недавно) с определенным продуктом?

I9
На сайте с 14.05.2010
Offline
73
6858

Есть задача "Найти новые сайты, которые занялись продажей плюшевых мишек(например)".

Ну, допустим за последний год.

Если ставить "за год" в поисковике, то это не означает что сайт новый, это значит только то, что за последний год старый сайт обновил инфу на странице.

Варианты.

- Искать по ключевику, и смотреть на дату регистрации домена?

- Смотреть, есть ли архив страниц для этого сайта? (где это смотреть ,кстати?)

Но это ПЕРЕБОР сайтов. А нужна выдача преимущественно новых.

Как еще можно это сделать?

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#1
Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
I9
На сайте с 14.05.2010
Offline
73
#2

Во-первых ссылка ведет на обычный поиск.

Во-вторых можно открыть настройки, и поставить диапазон дат ОТ и ДО.

Но это не гарантия того, что сайт появился в инете в этом диапазоне. Это значит только то, что он ОБНОВИЛСЯ в указанном диапазоне.

-S
На сайте с 10.12.2006
Offline
Модератор1354
#3

1. Парсите выдачу по ключу, собираете домены.

2. Парсите их возраст.

3. Выбираете новые.

I9
На сайте с 14.05.2010
Offline
73
#4
-= Serafim =-:
1. Парсите выдачу по ключу, собираете домены.
2. Парсите их возраст.
3. Выбираете новые.

Если не секрет чем парсить?

Вручную, или есть софтина, которая сделает это автоматом?

-S
На сайте с 10.12.2006
Offline
Модератор1354
#5
ice99:
Если не секрет чем парсить?
Вручную, или есть софтина, которая сделает это автоматом?

content downloader, a-parser, зеннопостер, заказать скрипт программисту

автоматом нигде ничего не делается, надо убить кучу времени для изучения и тестов под узкие задачи

В вашем случае проще и быстрее заказать.

Samba1982
На сайте с 29.04.2013
Offline
88
#6
ice99:
Если не секрет чем парсить?
Вручную, или есть софтина, которая сделает это автоматом?

Бесплатный парсер выдачи Яндекса и Гугла по ключам Селка

I9
На сайте с 14.05.2010
Offline
73
#7
Samba1982:
Бесплатный парсер выдачи Яндекса и Гугла по ключам Селка

Ну, спарсить то я спарсил, получил домены в столбик. Ну, могу экспорт сделать в csv.

А как автоматически почекать возраст доменов?

angel57
На сайте с 01.04.2014
Offline
155
#8

можно как-то так:

1) качаем тут или где-то еще (по ссылке только ru, su и рф, другие зоны тоже думаю можно где-то найти) список доменов за нужный период

2) вставляем список в Screaming Frog SEO Spider, или любой аналог типа Netpeak Spider, в общем сканер сайтов, где есть возможность сканировать список сайтов, а не тупо один сайт (в Screaming Frog эта опция называется list mode)

3) сканируем. тут лучше запастись компом и интернетом помощнее. у меня на слабеньком ноуте месячную дозу ру-доменов сканирует за несколько часов насколько помню. побольше потоков ставьте (в пределах разумного) и авторизацию на сайтах отключайте чтобы окна не вылазили. глубину ставил 1 вроде как. чтобы не зависало надо в файле ScreamingFrogSEOSpider.l4j в папке программы поставить ей побольше оперативки. в общем с настройками если немного поиграться то все ок будет) Netpeak по идее быстрее сканирует но дорогой он :)

4) ждем пока просканируется :)

5) выгружаем в эксель все данные и ищем поиском по нужному ключевому слову, оно будет встречаться в тайтлах, мета-описаниях, кейвордах и т.д. и т.п.

---------- Добавлено 29.08.2018 в 02:40 ----------

ice99:
Ну, спарсить то я спарсил, получил домены в столбик. Ну, могу экспорт сделать в csv.
А как автоматически почекать возраст доменов?

есть же проги типа Netpeak checker и разные онлайн-сервисы

I9
На сайте с 14.05.2010
Offline
73
#9

Пока самым подходящим решением мне видится своё.

Скачал SeoQuake, который в поисковой выдаче пишет Domain Age (связанный с веб-архивом).

Пока это удобнее всего. Визуально смотришь "свежие" домены в выдаче и парсишь в голове.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий