- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
mark3000, вот видите, таймера и ограничение количества потоков - это обязательные составляющие продукта.
Кстати, когда ждать обновления? ;)
Ладно я сейчас уезжаю, пока отложим этот вопрос. Да и не понимаю в чём проблема найти другой сайт на неткате. Наунет вообще в июне блокировал бота Яндекса из-за превышения нагрузки - тогда куча сайтов вылетело. После чего в роботсе было прописано: Crawl-delay: 3
Но я так понял, ваша программа не читает его от этого и проблема возникла. Было очень много обращений, вот пример:
04/Sep/2009:01:05:57 +0400]
04/Sep/2009:01:05:57 +0400]
04/Sep/2009:01:05:57 +0400]
04/Sep/2009:01:05:57 +0400]
04/Sep/2009:01:05:58 +0400]
04/Sep/2009:01:05:58 +0400]
04/Sep/2009:01:05:58 +0400]
04/Sep/2009:01:05:58 +0400]
04/Sep/2009:01:05:58 +0400]
04/Sep/2009:01:05:58 +0400]
04/Sep/2009:01:05:59 +0400]
04/Sep/2009:01:05:59 +0400]
04/Sep/2009:01:05:59 +0400]
04/Sep/2009:01:05:59 +0400]
04/Sep/2009:01:05:59 +0400]
В среднем там получается 4-е раза в секунду. Настройте, чтобы можно было настроить тайм-аут обращения к сайту и что сканировать не надо. И если проблема повторится, тогда уже об логах и урле поговорим, а как сейчас это может случиться с любым сайтом на виртуальном хостинге. И ещё про Clean-param не забудьте.
Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Ваша прога её так же проигнорировала.
SeoNizator, Это будет учтено:)
Обновления... Сейчас разрабатывается раздел для анализа текста страницы, примерно недельки через полторы обещали результат (с запасом две), то есть примерно к концу сентября скорее всего появится второй из 4 разделов.
Str256, Да, тайм аут это вероятное решение, хотя надо будет еще поговорить с программистом на эту тему, возможно будут более удобные решения. Так как все таки в тайм ауте сайт в 5000 страниц будет оооочень долго проверяться. И как следствие каждый скажет "что за тормознутая программа".
Повторюсь, что роботс программа (в данной версии) не учитывает, просто указывает на то что открыта или нет страница для индексирования, но никак не деректива для самой программы.
Str256, Да, тайм аут это вероятное решение, хотя надо будет еще поговорить с программистом на эту тему, возможно будут более удобные решения. Так как все таки в тайм ауте сайт в 5000 страниц будет оооочень долго проверяться. И как следствие каждый скажет "что за тормознутая программа".
Так ведь сами настраивать будут. И потом, с тайм аутом 1 сек - полтора часа проверяться будет. Вполне нормально. Да и те кого большой сайт, наверно более продвинутые тарифные планы, так что там можно указать и 10 раз в секунду.
Убедили, тайм аут это решение...:)
Мне вот интересен еще один, не совсем технический, а скорее психологический момент. Описывая программу я например сталкиваюсь с проблемой в каком ключе вести описание. Описывая в техническом ключе (программа может то то и то то) кажется что очень сухо и нудно. Описывая в достопримечательном ключе, получается как то рекламно слишком.
Интересно было бы знать какая форма информации лучше воспринимается? Если не трудно, буду рад выслушать мнение. а так же интересно знать мнение о внешнем виде программы (интерфейсе), не о юзабилити, а именно о стиле оформления.
Убедили, тайм аут это решение...:)
А про списки проксей не убедили? ;)
Всё очень просто. На кого рассчитана программа. Какова её ЦА?
Вот именно на языке оптимизаторов и вебмастеров надо описывать. А это люди, владеющими терминами, имеют понятие о некоторых технологиях. И в большинстве своём умеют отсеивать рекламные плевела (сами-то рекламщики ;) ).
SeoNizator, и это тоже:)
В общем все хорошо в меру и наверное нужно делать что бы было понятно и приятно для осознания. Будем стараться:)
Скачал сегодня последнюю версию. PR вообще не опредяляет
спасибо за прогу, поюзаем )
Vivaldis, Хм, можно адрес сайта (можно в личку). А другие параметры нормально определяются?
myname 2, Пожалуйста, не за горами выход продолжения пополнения в ряды бесплатного софта для оптимизатора:) (спасибо за "репу")