Павел Горбунов

sPoul:
Явное непонимание, как работают парсеры подобного рода (что NetPeak, что Screaming Frog, что Xenu).

99% времени уходит на выкачивание страниц и выбор ссылок с этих страниц для остроение очереди далее скачиваемых страниц - вот тут есть потери времени, т.к. логично делается проверка на уникальные адреса в очереди, чтобы по 10 раз один и тот же URL не скачивать - эти процессы на больших объемах затратны.

Все остальное извлекаемое - все те параметры, на обработке которых Вы думаете "съэкономить" - это статистически незначимые затраты времени.

Так что вопрос в принципе бессмысленный. Будучи выкаченной на компьютер, страница парсится почти моментально.

Anlel:
Скажите, а как вы вообще парсите большой сайт? Я как раз тему создала с вопросом - как это делать для сайта, у которого в поиске 2 млн страниц, а сам он состоит из 8 млн. Мне посоветовали по битым ссылкам Xenu, но процесс очень долго проходит, возможно есть какие-то умные методы, как такие сайты анализировать?

SAF:
Вроде никак. А зачем это? Ведь собрав всё можно смотреть только то то нужно.

vlk315:
Если вы про наши тематики - gambling, betting

Если про требования, то не обязательно в этих тематиках

vlk315:
Опыт работы с англоязычными проектами обязателен. Опыт работы с высококонкурентными нишами приветствуется.

Sevbanchik:
Смотрю выдачу яндекса – 50% топ10 статьи, опубликованные сегодня-вчера... Вот прямо зло берёт.

Как могут отнестись поисковики, если вместо даты создания на сайте показывать, например, дату изменения статьи, а в место даты изменения – сегодняшнюю?

Или вместо реальной даты публикации показывать позавчерашнюю? Чтобы как поисковик не пришёл на сайт, а статья-то свежая.

Сайт не новостной, от даты актуальность информации не зависит.

Заранее спасибо за ответы.

camomilex:
Павел, на ваш вопрос я отвечала тут:



Я не сеошник, а контенщик. Но проблема скорее не в виде деятельности, а в личности работодателя. Люди от Олега уходят. Привет, MaximD, думаю, я с вами успела поработать ))))

Если коротко, то просто и легко с Олегом не будет. Иногда я себе напоминала индийскую восьмирукую богиню, и все равно ничего не успевала. В то же время планка требований у него достаточно высока. С другой стороны - это постоянное решение разноплановых задач. Когда втягиваешься, то это даже интересно.

После того поста мы с Олегом еще работали, второй заход был дольше*– примерно год. Прекратили сотрудничество, т.к. проект требовал кардинальных изменений и в моей работе была значительная пауза. Пауза затянулась и я нашла другой проект.