Как найти неполные дубли на сайте?

X
На сайте с 04.12.2018
Offline
285
543
 Есть ли сервис, показывающий какие страницы на сайте наиболее похожи друг на друга? Как правило очень похожими являются карточки товаров и сходные разделы типа "маленькие комоды", "узкие комоды". Сейчас занимаюсь уникализацией, процесс очень длинный и такой сервис смог бы очень помочь с последовательностью действий. Спасибо.
Удобный съем позиций (http://allpositions.ru/redirect/58277)
Виктор Петров
На сайте с 05.01.2020
Offline
240
#1
Screaming Frog Seo Spider.
Процент совпадения можно задать вручную. 
X
На сайте с 04.12.2018
Offline
285
#2
Виктор Петров #:
Screaming Frog Seo Spider.
Процент совпадения можно задать вручную. 

А где там это делается? 

Виктор Петров
На сайте с 05.01.2020
Offline
240
#3
Xubart #:
А где там это делается? 

Configuration - Spider, вкладка Extraction, отметить галочкой Store HTML (внизу).
Потом Configuration - Content - Duplicates. Там отметить галочкой Enable Near Duplicates и задать степень похожести (по умолчанию стоит 90%). Я обычно выставляю 80%, но тут дело хозяйское.
Парсим.
После этого - Crawl Analysis. Ну, а дальше смотреть, что на что похоже и в какой степени. А, ну и я бы посоветовал в качестве User-Agent выбрать что-то осмысленное, типа Googlebot Smartphone. Иногда полезно разными UA посмотреть - бывают нюансы, особенно если речь об адаптивной вёрстке.

Кроме того, можно использовать сторонние сервисы - типа siteliner.com, но там бесплатно - только 200 страниц, остальное - за бабки. 

X
На сайте с 04.12.2018
Offline
285
#4

Благодарю. Была 11я версия, не знал о таком нововведении.

Но "кладёт" он сайт, почему то очень быстро. Раньше такого не было. Мини ДДОС атака :)

Виктор Петров
На сайте с 05.01.2020
Offline
240
#5
Xubart #:
Но "кладёт" он сайт, почему то очень быстро. Раньше такого не было. Мини ДДОС атака :)

О. Это повод пообщаться с хостером для начала. Если фрога достаточно чтобы его положить - то он и от поисковых ботов приляжет и отдаст пачку пятисотых в самый неподходящий момент.
Ну, и можно же парсер настроить, чтобы помягче данные тянул.
Сейчас 15-я версия актуальна, они туда воткнули, например, сравнение версий сайта - что было, что стало.

X
На сайте с 04.12.2018
Offline
285
#6
 Да, да, уже готовлю письмо. Тоже смутило. Раньше такого не наблюдалось от фрога. Но пятисотых нет, это пока радует.
X
На сайте с 04.12.2018
Offline
285
#7

М-да. Даже не знаю как интерпретировать.

У себя нашел 1700 таких неявных дублей (около 8% от всех страниц).

Ну, думаю, может это и есть причина падения. Много ж дублей. Еще год назад Яшка такие карточки и разделы в НКС забрасывал, а теперь шифрует - известный факт, элемент алгоритма ж теперь не фильтр (СУКА). Уже даже составил план уникализации.

Только что решил сопоставить с ситуацией у нереально растущего конкурента. У них 3300 страниц неуникальных дублей из "Нашлось 4 тыс. результатов". Т.е. почти все!

Как так то? Люди 100% не крутят ПФ.

chaser
На сайте с 03.08.2005
Offline
208
#8
Xubart :
 Есть ли сервис, показывающий какие страницы на сайте наиболее похожи друг на друга? Как правило очень похожими являются карточки товаров и сходные разделы типа "маленькие комоды", "узкие комоды". Сейчас занимаюсь уникализацией, процесс очень длинный и такой сервис смог бы очень помочь с последовательностью действий. Спасибо.
BatchUniqueChecker - https://site-analyzer.ru/soft/batch-unique-checker/ - массовая проверка уникальности контента нескольких страниц между собой, распространяется бесплатно



BatchUniqueChecker - проверка уникальности списка URL (страниц сайта) между собой
BatchUniqueChecker - проверка уникальности списка URL (страниц сайта) между собой
  • Created by BrokenByte Software
  • site-analyzer.ru
Проверка уникальности списка URL между собой Возможность проверки произвольного списка URL либо импорт ссылок из Sitemap.xml Возможность использования "значимых" текстов среди общего контента страницы Отображение различий между двумя любыми выбранными URL Установка длины шингла (от 1 до 10 слов в шингле) Экспорт отчетов в Excel (CSV-формат...
SiteAnalyzer ( https://site-analyzer.ru/ ) - аналог Screaming Frog | Majento ( https://majento.ru/index.php?page=seo-analize ) - 70+ бесплатных сервисов SEO-аналитики
X
На сайте с 04.12.2018
Offline
285
#9
Новая лягушка - настоящий монстр. Она за 5 минут кладет сайты, лежащие на виртуальном хостинге. Проверено на нескольких конкурентах - как только сайт ложится у меня, к нему нет доступа даже с проверки кода ответа Яндекса.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий