Как бесплатно и быстро собрать ответ сервера для 10к url?

L
На сайте с 14.01.2011
Offline
74
315

Здравствуйте! 

Вопрос в Теме. Спасибо.

skapunker
На сайте с 15.01.2014
Offline
190
#1
сделать самому простенький парсер
Мои сайты ищут дно. Я больше не СЕО гуру... Я ухожу в отставку. Однако, я по прежнему царь вебмастеринга.
poruchick
На сайте с 13.08.2007
Offline
144
#2
Ну, если сайт имеет sitemap, то, собственно, в чём проблема? Только стоит учитывать, что подобный интерес к чужому сайту может потребовать прокси или длительного таймаута между парсингом блоков url.
Заработок на страховании - https://sl.net.ru/osago | Продам кучку доменов, кучка уменьшается - https://sl.net.ru/domains
L
На сайте с 14.01.2011
Offline
74
#3
skapunker #:
сделать самому простенький парсер

Не силен в коде. Можете помочь?

L
На сайте с 14.01.2011
Offline
74
#4
poruchick #:
Ну, если сайт имеет sitemap, то, собственно, в чём проблема? Только стоит учитывать, что подобный интерес к чужому сайту может потребовать прокси или длительного таймаута между парсингом блоков url.

Каким образом это можно сделать через sitemap? Правильно я понимаю, что если это мой сайт я просто через вебмастерс гружу карту сайта и в скором времени получаю ответы страниц? А если это не мой сайт, то как мне карта сайта поможет?

igor3310
На сайте с 27.02.2011
Offline
130
#5
luserz #:

Каким образом это можно сделать через sitemap? Правильно я понимаю, что если это мой сайт я просто через вебмастерс гружу карту сайта и в скором времени получаю ответы страниц? А если это не мой сайт, то как мне карта сайта поможет?

Чужую сайтмап можно тоже грузить - смотрите УРЛ ее в robots.txt

Веб разработка WordPress, OpenCart, Modx Revo и прочее - https://searchengines.guru/ru/forum/1040224
Devvver
На сайте с 02.07.2008
Offline
628
#6
Если я правильно понял суть вопроса https://searchengines.guru/ru/forum/973888
SiteAnalyzer - бесплатная программа для аудита и анализа сайта - Сервисы и программы для работы с SE - Практические вопросы оптимизации - Форум об интернет-маркетинге
SiteAnalyzer - бесплатная программа для аудита и анализа сайта - Сервисы и программы для работы с SE - Практические вопросы оптимизации - Форум об интернет-маркетинге
  • 2021.01.05
  • searchengines.guru
Уважаемые коллеги! После долгого затишья хочу сообщить о возобновлении разработки программы Majento SiteAnalyzer , которая предназначена для...
Мой блог. Все о создании сайтов,Seo и СДЛ (https://devvver.ru/) А вот это блог о жизни в Таиланде и Паттайе (http://tourwebring.com). Еще о Таиланде (https://tailand-gid.org).
L
На сайте с 14.01.2011
Offline
74
#7
igor3310 #:

Чужую сайтмап можно тоже грузить - смотрите УРЛ ее в robots.txt

Я понимаю, что ее можно взять, а дальше что мне с ней делать? Там есть loc и  lastmod и больше ничего. Я не понимаю как мне добыть из нее ответ сервера? Или вы имеете ввиду загрузить чужой сайтмеп в своем вебмастерсе? А он не будет ругаться на то, что домен не мой?

L
На сайте с 14.01.2011
Offline
74
#8
Devvver #:
Если я правильно понял суть вопроса https://searchengines.guru/ru/forum/973888

Идеальный вариант.) Спасибо огромное.

igor3310
На сайте с 27.02.2011
Offline
130
#9
luserz #:

Я понимаю, что ее можно взять, а дальше что мне с ней делать? Там есть loc и  lastmod и больше ничего. Я не понимаю как мне добыть из нее ответ сервера? Или вы имеете ввиду загрузить чужой сайтмеп в своем вебмастерсе? А он не будет ругаться на то, что домен не мой?

Программой проверить ответ сервера , прога типа как вложили на пост выше

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий