Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как найти дубли и не известные страницы.

M
На сайте с 15.07.2009
Offline
37
Merk
399

Доброй ночи.

Возник вопрос, как можно отловить неизвестные страницы?

Информация из вебмастера яндекса

Страниц в поиске 5036

Загружено роботом 8770

Исключено роботом 3385

8770-3385=5385

5385-5036=349 (данные страницы не попали в индекс, правильно?)

Но на сайте всего 4876 страницы (sitemap.xml)

5036-4876=160 неизвестных страниц. Каким способом можно узнать, что это за страницы?

Z6
На сайте с 20.04.2010
Offline
26
Zelebob666
#1

так вебмастер список выводит - выгрузи и сравни

M
На сайте с 15.07.2009
Offline
37
Merk
#2
Zelebob666:
так вебмастер список выводит - выгрузи и сравни

я сравнил, только вебмастер показывает первые 1000 из 5036 страниц.

Или можно выгрузить все? Как это сделать?

ET
На сайте с 15.01.2013
Offline
16
Ed-TopExpert
#3

А в Google сколько проиндексировано страниц?

Самый полный курс SEO на рынке. (http://www.topexpert.pro/seo-kurs.html) Главный сеошник Wikimart учит думать и продвигать (http://www.topexpert.pro/seo-analytics-school.html) СЕО-драйв (http://www.topexpert.pro/seo-kurs-s.html)
M
На сайте с 15.07.2009
Offline
37
Merk
#4
Ed-TopExpert:
А в Google сколько проиндексировано страниц?

Гугл

Sitemap

4 876 URL отправлены

4 429 – количество проиндексированных URL

Статус индексирования

Проиндексировано всего 5 598

Не выбрано

6 963

Заблокировано в файле robots.txt

808

Просканировано за все время

35 318

P.S Сайт работает на системе Битрикс

В отчёте об индексировании В API Яндекс.Вебмастера появилась В новом Search Console
IV-й
На сайте с 23.06.2009
Offline
159
IV-й
#5

Screaming Frog SEO Spider попробуйте

богоносец
На сайте с 30.01.2007
Offline
774
богоносец
#6
Merk:
Каким способом можно узнать, что это за страницы?

Поискав по сайту в кавычках с &filter=0, посмотреть на урлы, они могут оказаться однотипны у всех этих тыщ.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий