- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Была прога, для чекания ПР, так вот она все ссылки юзала и показывала количество страниц.
Если кто вспомнит, киньте ссылу.
Его можно так настроить, чтобы он только адреса страниц скачивал, не трогая содержимое.
Это не возможно.
Кто же тогда ему список всех адресов (урл) сайта даст, он только из контента, скачивая каждую страницу это может вытащить...
Была прога, для чекания ПР, так вот она все ссылки юзала и показывала количество страниц.
Видимо, проиндексированных Гуглом, а тут нужно общее кол-во страниц сайта, в не зависимости от индексации ПС.
Это не возможно.
Кто же тогда ему список всех адресов (урл) сайта даст, он только из контента, скачивая каждую страницу это может вытащить...
Гм-гм. Я не знаю, каким это образом происходит, не вникал в подробности. Жаль у меня сейчас под рукой Телепорта нет... В общем, скан происходил за считанные секунды (при том, что интернет у меня не ахти какой был). Специально "измерял" таким образом несколько сайтов с известным количеством страниц - результаты по Телепорту сходились с истинными.
Не знаю, может быть я, конечно, что-то не так делал, но факт остается фактом.
Не знаю, может быть я, конечно, что-то не так делал, но факт остается фактом.
Это возможно, когда Вы вложенность не глубокую задаете или другими параметрами играете. Например, задали вложенность скачки главная и еще 2 уровня внутренних.
Например, на главной 20 ссылок, на 1-м уровне внутренней в среднем 10 (уникальных) ссылок, на 2-м уровне внутренней в среднем 10 (уникальных) ссылок.
Качаем - 1 + 20 + 20*10 = 221 страниц. Но скаченный 2-й уровень дает инфу еще о 200*10 = 2 000 страниц, которые мы не качаем, но в количество страниц включить можем.
А универсально качать, без ограничения уровня, не зная, на какой странице больше нет ссылок - придется все страницы качать.
Видимо, проиндексированных Гуглом
Нет, просто бот путешествующий по ссылкам ;)
Это возможно, когда Вы вложенность не глубокую задаете или другими параметрами играете. Например, задали вложенность скачки главная и еще 2 уровня внутренних.
Например, на главной 20 ссылок, на 1-м уровне внутренней в среднем 10 (уникальных) ссылок, на 2-м уровне внутренней в среднем 10 (уникальных) ссылок.
Качаем - 1 + 20 + 20*10 = 221 страниц. Но скаченный 2-й уровень дает инфу еще о 200*10 = 2 000 страниц, которые мы не качаем, но в количество страниц включить можем.
А универсально качать, без ограничения уровня, не зная, на какой странице больше нет ссылок - придется все страницы качать.
Кхм... То есть, я так понимаю, без ограничения уровня невозможно даже технически скачивать только количество страниц? Их нужно все выкачать для этого?
Тьфу, запутался что-то совсем.
Надо будет почитать, как все это дело работает.
neznaika, ну не знаю, см. мой пост выше, посчитайте примерно какой нужен канал и сколько нужно путешествовать и какой период обхода будет для русскоязычного инета. Только в Яндексе 2 750 733 027 страниц.
Умножим 2 750 733 027 хотя бы на 10к (средний размер страницы), поделим на скорость 1Мбайт/с (10Мбит) = 2 750 733 0 с / 60 = 458 455 мин / 60 = 7 641 ч / 24 = 1 год.
Кхм... То есть, я так понимаю, без ограничения уровня невозможно даже технически скачивать только количество страниц? Их нужно все выкачать для этого?
Тьфу, запутался что-то совсем.
Конечно, не выкачивая страницу, Вы не можете определить есть на ней ссылки или нет.
А перебирать страницы сайта можно только по ссылкам на страницах.
Конечно, не выкачивая страницу, Вы не можете определить есть на ней ссылки или нет.
А перебирать страницы сайта можно только по ссылкам на страницах.
+1,
neznaika, пробовали делать такое, вариант john2007, но тормоз еще тот получился:
http://www.auxiliarytools.com/checkall.html
То есть страницы перебирает быстро, в запросах PR дело..
Правда, общее количество внутряков (найденных по ссылкам) не выдает, но это не сложно добавить.
З.Ы. В принципе, можно убрать запросы PR и получится довольно шустрый (медию не тягает) счетчик страниц по найденным ссылкам.