ага, вижу несколько точек во вчерашних логах, где бот заходил с интервалом 0-3 сек (хотя кроул-дилэй:5). Но для него ж можно в WMT ограничение прописать.
Вот откуда массовое утверждение, что Crawl-delay в роботсе не работает??!
Выставил Crawl-delay: 5 - В логах реально нет заходов бинга чаще 5 сек.
Итог: аптайм сервера 4 дня, всё летает! :p
Crawl-delay прописал, пока аптайм - сутки без лагов.
Чтоб прописать Crawl-delay в роботсы, отключал httpd. Прописал, включил httpd - в момент появилось около 230 pid'ов в процессах.
Отключил серв, подождал ещё полчаса - успокоились
когда на пике лезет под две сотни ботов в минуту - это равносильно ДДОС атаке
цмски вроде оптимизированы... Сайты относительно спокойные, скачков нагрузки за счёт юзеров не бывает.
1) это ж только урл .html, а обработка php скриптом
2) и это только кусочек лога одного из десятка многостраничников на сервере (от 5к страниц)
Сервер не монстр, но раньше хватало и на сайты, и на многопоточные парсилки (работающие параллельно), и ничего не ложилось.
так-то да, но с сайтом пару лет ничего существенного не делалось
т.е. само фильтрануло, потом само же и отпустило
зы: сайт - 7к страниц (из 21к) в основном индексе
К вопросу о смене анкоров в бэках.
Предистория.
Три года собирал бэки для магазинчика refurbished мобильников - в основном сквозняки обменами.
Отбирал достаточно чистые+качественные более-менее тематичные блоги (индусские ГСы на дропах с сотнями ссылок в блогроле игногрил).
Действовал аналогично схеме, по которой двигал в 2005-2009 клиентский сайт (который кстати до сих пор в топах).
К апрелю 2012 собралось порядка 50 сквозняков (WMT видит чуть более 1млн ссылающихся страниц).
В анкорах ещё год назад стал использовать домен или брэнд. Т.е. в апреле "безанкорными" можно было считать около половины бэков.
По основному кею "refurbished cell phones" висел в районе 5-8 места, по другим трём жирным для меня кеям болтался в двадцадке.
24 апреля, как и многие, поймал пингвина. По "refurbished cell phones" слетел на 35-40 место. По остальным кеям улетел во вторую/третью сотню.
Разослал партнёрам просьбы сменить анкоры (10 запросов 15 мая + 15 запросов 1 июня).
В сумме откликнулось около 15 челов.
Но результат - по основному кею в начале июня стал обваливаться ещё ниже: 55, потом 80, потом 99... Сейчас где-то 280.
так это ж вроде тож кастом серч...
Так вроде там нет коммерческих кеев в анкорах...
так там региональные страницы почти невесомые - лежат на фиг знает каком уровне
многие считают что хуиз ни на что не влияет (мол что если стоит хуиз-протект?)
но остальные считают что адрес в хуизе должен совпадать с адресом на странице контактов
скинь в личку сайт+пару основных кеев
как вариант, можно попробовать тыкнуть гугл носом в юса адрес, прописав его сквозняком по сайту мелким шрифтом где-нить в футере---------- Добавлено 31.05.2012 в 23:13 ----------
ну это лучше, чем с пингвином воевать :)
кстати, svift, а когда сайтик обвалился-то? :)
фарма 🙄
если вопрос мне конечно... :)---------- Добавлено 31.05.2012 в 23:01 ----------
да, так и было
причём тогда вернулись все в один день
