Анализ объема сайта!

123 4
korolef
На сайте с 26.12.2006
Offline
25
2292

Кто может подсказать сервис или прогу для определения количества страниц на сайте? Интересует не количество проиндексированных страниц поисковиками а общее количество страниц на сайте!

olll
На сайте с 07.11.2006
Offline
116
#1

Тоже интересует.

H
На сайте с 24.10.2005
Offline
50
#2

Ну если трафика не жалко, то можно при помощи Teleport Pro скачать, а потом количество страниц посмотреть.

Вы вероятно не оцениваете мощь и глупость школьников, два этих фактора способны свернуть горы, а сегодня мы делаем шаг к тому чтобы выпустить этого джини на свободу (/ru/forum/comment/4436338)
Dmitry V___v
На сайте с 07.12.2006
Offline
310
#3
korolef:
Кто может подсказать сервис или прогу для определения количества страниц на сайте? Интересует не количество проиндексированных страниц поисковиками а общее количество страниц на сайте!

А смысл?

Проверить, как конкурент в будушем вылезет на внутренних факторах, включая вес?

Или накопать грязного бельеца и стукануть? Так это совсем не спортивный и вообще не кошерный метод.

ИМХО, гораздо интереснее посммотреть все проиндексированные страницы (чего ни Яндекс, ни Гугл делать не дают на больших объемах) и там уже анализировать :)

Создание и ведение кампаний Google/Bing/Twitter/FB Ads под USA, Canada, United Kingdom and Australia ( https://searchengines.guru/ru/forum/1028286 ) + жирный линкбилдинг под бурж ( https://searchengines.guru/ru/forum/1028282 )
korolef
На сайте с 26.12.2006
Offline
25
#4
Hazard:
Ну если трафика не жалко, то можно при помощи Teleport Pro скачать, а потом количество страниц посмотреть.

хоть трафик и халявный но это не самый оперативный и главное удобный способ.

Спасибо конечно но хотелось бы более удобный способ найти

korolef
На сайте с 26.12.2006
Offline
25
#5
Pall:
А смысл?
Проверить, как конкурент в будушем вылезет на внутренних факторах, включая вес?
Или накопать грязного бельеца и стукануть? Так это совсем не спортивный и вообще не кошерный метод.
ИМХО, гораздо интереснее посммотреть все проиндексированные страницы (чего ни Яндекс, ни Гугл делать не дают на больших объемах) и там уже анализировать :)

и откуда только такие мысли берутся? ))))

Основной смысл в этом это изучение новых сайтов, которые либо еще не проиндексированы, либо проиндексированы частично. Например клиент обращается к тебе с продвижением нового сайта, мне интересно изучить его объем, причем максимально быстро. Так же ничто не мешает изучать конкурентов, периодически оценивая какие работы они ведут...

upyrj
На сайте с 17.09.2005
Offline
140
#6

Генератор сайтмепов нужен какой-нибудь. Например.

В любом случае, анализатор должен выкачивать весь HTML-контент, чтобы найти все документы. Так что Телепорт будет делать то же самое по сути.

Денис Иванов Важно: обменом валют я не занимаюсь.
korolef
На сайте с 26.12.2006
Offline
25
#7
upyrj:
Генератор сайтмепов нужен какой-нибудь. Например.

В любом случае, анализатор должен выкачивать весь HTML-контент, чтобы найти все документы. Так что Телепорт будет делать то же самое по сути.

Благодарю но с сайтмепами разбираться дольше чем телепортом воспользоваться...

Неужели нет скрипта где бы паук по ссылкам шлялся и считал уникальные урлы и вел подсчет страниц?

di_max
На сайте с 27.12.2006
Offline
262
#8
korolef:
Например клиент обращается к тебе с продвижением нового сайта, мне интересно изучить его объем, причем максимально быстро.

Так почему бы клиенту не предоставить и FTP-доступ, и к БД?

Тогда вопрос сам собой отпадет...

korolef:
Так же ничто не мешает изучать конкурентов, периодически оценивая какие работы они ведут...

Так может с этого и надо было?;)

// Все наши проблемы от нашего не знания...
[Удален]
#9

Тоже как-то интересовался. Кроме Телепорта ничего не нашел. Его можно так настроить, чтобы он только адреса страниц скачивал, не трогая содержимое. Получается быстро, если сайт до 1000 страниц. А вот если несколько тысяч...

Например клиент обращается к тебе с продвижением нового сайта, мне интересно изучить его объем, причем максимально быстро.

А что, клиент сам не может предоставить информацию о кол-ве страниц? Ну или тот кто верстал...

john2007
На сайте с 26.03.2007
Offline
173
#10
korolef:

хоть трафик и халявный но это не самый оперативный и главное удобный способ
korolef:

Неужели нет скрипта где бы паук по ссылкам шлялся и считал уникальные урлы и вел подсчет страниц?

Что такое скрипт?

Если тот, который Вы запустите, то этот способ Вам ничего существенного не сэкономит относительно Телепорт. Ну разве только место на ЖД и усилия по нажатию кнопки свойства на папке, для подсчета кол-ва. А время и трафик... нет, тоже самое будет.

А если скрипт - это у Вас чужой веб сервис/служба, то представьте, какой там канал должен быть, при 10Мбит, ru зона годы качаться будет.

Даже если кто что-то подобное и затеил, то представляю, какая у него будет актуализация :)

Даже www.webarchive.org и тот нормально задачу архива всех страниц не может решить...

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий