- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
До сих пор не получил ответа по своей проблеме - все ссылки после 22-й попадают в список битых ссылок!
Выслал файл projects.list, как просили - ответа нет!
есть сайт 50000 страниц на нём около 150 ссылок на странице
часть ссылок удаляется, часть добавляется по определённым правилам
Не такой уж и большой, без проблем можно спарсить заново. Тем более что копию сайта можно и на локалке развернуть.
Также можно к "удаляемым" ссылкам добавлять в базе какой-нибудь атрибут, можно несуществующий - тогда ПС внимания на него не обратят, а прога воспримет как метку что ссылку учитывать не надо.
Str256, с отключённым кешем это двое суток с локального сервера :(
Str256, с отключённым кешем это двое суток с локального сервера
Сканируйте по списку страниц, а он уже есть с предыдущего скана. Будет быстрее.
есть сайт 50000 страниц на нём около 150 ссылок на странице
часть ссылок удаляется, часть добавляется по определённым правилам
возможно, нужен дополнительный модуль моделирования по правилам
удаление: удалять ссылку на странице, если выполняется какие-то условия
добавление: добавлять ссылку на страницу если выполняются какие-то условия
ссылки для добавления можно загрузить отдельной таблицей
условия могут быть как простыми: если нет на странице, то добавить из списка (по очереди)
так и более сложными: с привязкой к полям счётчика/счётчиков анкоров
да речь идёт об простановке кдалении ни одной ссылки, а сразу нескольких
Есть здоровый список по доработкам модуля моделирования. Лежит у меня в столе :) Не пускается в работу по двум причинам:
1) Надо довести парсинг до идеала. Пока не доведем, дальше не двинемся
2) этот пункт я уже упоминал: расширенное моделирование интересно узкому кругу специалистов. Сделать его интересно, но не могу поставить в приоритет. Полуавтомат был бы более интересен в коммерческом плане.
---------- Добавлено 21.01.2013 в 22:43 ----------
До сих пор не получил ответа по своей проблеме - все ссылки после 22-й попадают в список битых ссылок!
Выслал файл projects.list, как просили - ответа нет!
Вам обновление 2.0.9 тоже не помогло?
А у Вас moneyback есть? Я хочу отказаться от Вашей программы. Она не способна сканировать тяжелые сайты. Я давал Вам url своего сайта. Я грешил на хостера, но сейчас перенес сайт на тот же компьютер где стоит Ваша программа. Отключил все возможные защиты
И что? " ожидания операции истекло" то есть компьютер блокирует собственный ip?
vagogrande, мне киньте урл. Попробую проверить, на своей версии.
И что? " ожидания операции истекло" то есть компьютер блокирует собственный ip?
а сколько у вас стоит ожидание ответа?
вообще-то, если вы перенесли сайт, то скорей всего кеша на новом сервере нет и как следствие страница может отдаваться сервером, в зависимости от кривизны кода, до 10сек.
сам с подобным сталкивался, но это не косяк программы, а косяк прогера,
как правило можно оптимизировать запросы к бд, это позволит сократить время формирования страницы.
а сколько у вас стоит ожидание ответа?
вообще-то, если вы перенесли сайт, то скорей всего кеша на новом сервере нет и как следствие страница может отдаваться сервером, в зависимости от кривизны кода, до 10сек.
сам с подобным сталкивался, но это не косяк программы, а косяк прогера,
как правило можно оптимизировать запросы к бд, это позволит сократить время формирования страницы.
Ага ! И этот косяк начинается после первых ста страниц! То есть первые сто страниц сервер справляется, а потом процессор от кривых sql запросов перегревается и начинает тормозить!
vagogrande, я не специалист по серверам и их настройки, но чудес хватает, посмотрите загрузку, ошибки и т.п. возможно найдёте проблему :)