sPoul: Явное непонимание, как работают парсеры подобного рода (что NetPeak, что Screaming Frog, что Xenu).
99% времени уходит на выкачивание страниц и выбор ссылок с этих страниц для остроение очереди далее скачиваемых страниц - вот тут есть потери времени, т.к. логично делается проверка на уникальные адреса в очереди, чтобы по 10 раз один и тот же URL не скачивать - эти процессы на больших объемах затратны.
Все остальное извлекаемое - все те параметры, на обработке которых Вы думаете "съэкономить" - это статистически незначимые затраты времени.
Так что вопрос в принципе бессмысленный. Будучи выкаченной на компьютер, страница парсится почти моментально.
Anlel: Скажите, а как вы вообще парсите большой сайт? Я как раз тему создала с вопросом - как это делать для сайта, у которого в поиске 2 млн страниц, а сам он состоит из 8 млн. Мне посоветовали по битым ссылкам Xenu, но процесс очень долго проходит, возможно есть какие-то умные методы, как такие сайты анализировать?
Sevbanchik: Смотрю выдачу яндекса – 50% топ10 статьи, опубликованные сегодня-вчера... Вот прямо зло берёт.
Как могут отнестись поисковики, если вместо даты создания на сайте показывать, например, дату изменения статьи, а в место даты изменения – сегодняшнюю?
Или вместо реальной даты публикации показывать позавчерашнюю? Чтобы как поисковик не пришёл на сайт, а статья-то свежая.
Сайт не новостной, от даты актуальность информации не зависит.
Я не сеошник, а контенщик. Но проблема скорее не в виде деятельности, а в личности работодателя. Люди от Олега уходят. Привет, MaximD, думаю, я с вами успела поработать ))))
Если коротко, то просто и легко с Олегом не будет. Иногда я себе напоминала индийскую восьмирукую богиню, и все равно ничего не успевала. В то же время планка требований у него достаточно высока. С другой стороны - это постоянное решение разноплановых задач. Когда втягиваешься, то это даже интересно.
После того поста мы с Олегом еще работали, второй заход был дольше*– примерно год. Прекратили сотрудничество, т.к. проект требовал кардинальных изменений и в моей работе была значительная пауза. Пауза затянулась и я нашла другой проект.
Явное непонимание, как работают парсеры подобного рода (что NetPeak, что Screaming Frog, что Xenu).
99% времени уходит на выкачивание страниц и выбор ссылок с этих страниц для остроение очереди далее скачиваемых страниц - вот тут есть потери времени, т.к. логично делается проверка на уникальные адреса в очереди, чтобы по 10 раз один и тот же URL не скачивать - эти процессы на больших объемах затратны.
Все остальное извлекаемое - все те параметры, на обработке которых Вы думаете "съэкономить" - это статистически незначимые затраты времени.
Так что вопрос в принципе бессмысленный. Будучи выкаченной на компьютер, страница парсится почти моментально.
ок, понятно.
хотя какого-то решения все равно не найдено.
Скажите, а как вы вообще парсите большой сайт? Я как раз тему создала с вопросом - как это делать для сайта, у которого в поиске 2 млн страниц, а сам он состоит из 8 млн. Мне посоветовали по битым ссылкам Xenu, но процесс очень долго проходит, возможно есть какие-то умные методы, как такие сайты анализировать?
пробовал разные сервисы.
Можно использовать Нетпик, можно - https://jetoctopus.com/, можно - https://seo-utils.ru/.
Но наверняка есть и другие сервисы.
Вроде никак. А зачем это? Ведь собрав всё можно смотреть только то то нужно.
время.
для большого сайта очень долго собирать все параметры.
Если вы про наши тематики - gambling, betting
Если про требования, то не обязательно в этих тематиках
Понял.
Самый хардкор.
vlk315,
Опыт работы с англоязычными проектами обязателен. Опыт работы с высококонкурентными нишами приветствуется.
можете указать тематику проектов?
Мне в свое время понравился https://seo-reports.ru для простых отчетов.
Для сложных - в любом случае нужно что-то более сложное придумывать.
Смотрю выдачу яндекса – 50% топ10 статьи, опубликованные сегодня-вчера... Вот прямо зло берёт.
Как могут отнестись поисковики, если вместо даты создания на сайте показывать, например, дату изменения статьи, а в место даты изменения – сегодняшнюю?
Или вместо реальной даты публикации показывать позавчерашнюю? Чтобы как поисковик не пришёл на сайт, а статья-то свежая.
Сайт не новостной, от даты актуальность информации не зависит.
Заранее спасибо за ответы.
никак.
статьи будут привязаны к дате первой индексации.
Brus69, зависит от сайта, тематики и популярности бренда.
в вашем случае - я бы экспериментировал.
VadimManager, можете не ставить.
Это бесполезно.
Павел, на ваш вопрос я отвечала тут:
Я не сеошник, а контенщик. Но проблема скорее не в виде деятельности, а в личности работодателя. Люди от Олега уходят. Привет, MaximD, думаю, я с вами успела поработать ))))
Если коротко, то просто и легко с Олегом не будет. Иногда я себе напоминала индийскую восьмирукую богиню, и все равно ничего не успевала. В то же время планка требований у него достаточно высока. С другой стороны - это постоянное решение разноплановых задач. Когда втягиваешься, то это даже интересно.
После того поста мы с Олегом еще работали, второй заход был дольше*– примерно год. Прекратили сотрудничество, т.к. проект требовал кардинальных изменений и в моей работе была значительная пауза. Пауза затянулась и я нашла другой проект.
Все ясно, спасибо.