написанные на php - все работают
или вы хотите на никсовом сервере под вайном запустить десктопный виндовый софт?
написать яндексу что у них краулер убогий? 😆
так они похоже сами это знают, не умеют индексировать - с выдачей извращаются 🙅
написать платону список своих доменов - чтоб их сразу все забанили?
аааааааааа!!!
как я ступил, аж стыдно 😂
s91 - сори 🍻
для танкистов:
берем 2 строчки лога:
93.158.148.31 - - [14/Dec/2009:19:13:27 +0300] "GET /i-mnogo-strashnee/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"93.158.148.31 - - [14/Dec/2009:19:13:48 +0300] "GET /i-poluchaetsya-zlo/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"
дата одной записи - [14/Dec/2009:19:13:27 +0300] , дата второй записи - [14/Dec/2009:19:13:48 +0300]
делаем простейшее вычитание 19:13:48 - 19:13:27 = 21 секунда
из 3-го класса мы помним( s91 - вы уже 3-й класс закончили? ), что 21 секунда меньше 2 минут( 2*60=120 секунд )
пример некорректности работы Crawl-delay
robots.txt:
User-agent: Yandex Crawl-delay: 2 # задает таймут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 5
site_access.log:
93.158.130.181 - - [14/Dec/2009:13:27:12 +0300] "GET /robots.txt HTTP/1.1" 200 35 "-" "YandexSomething/1.0" 95.108.147.242 - - [14/Dec/2009:18:40:51 +0300] "GET /robots.txt HTTP/1.1" 200 35 "-" "YandexSomething/1.0" 93.158.148.31 - - [14/Dec/2009:19:03:29 +0300] "GET /ty-pravilno-govoril/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:04:26 +0300] "GET /gniloe-vashe-pokolenie/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:05:30 +0300] "GET /dobryj-den-doktor-makartur/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:05:48 +0300] "GET /obyazan-i-xochu-raznye-veshhi-verno/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:05:58 +0300] "GET /rebyata-zamechatelnye/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:06:27 +0300] "GET /odnako-dom-tak-nazyvali/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:07:14 +0300] "GET /eto-eshhe-nichego-byvayut-perly-i-pochishhe/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:08:03 +0300] "GET /u-nego-byla-doverennost/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:08:52 +0300] "GET /xot-eto-i-dlilos-lish-dolyu-sekundy/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:09:44 +0300] "GET /delo-delaetsya-tak/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:10:49 +0300] "GET /dlinnye-predosteregayushhie/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:11:25 +0300] "GET /otkroj-byuro/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:12:48 +0300] "GET /ya-vot-i-bespokoyus/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:13:27 +0300] "GET /i-mnogo-strashnee/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:13:48 +0300] "GET /i-poluchaetsya-zlo/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:14:31 +0300] "GET /a-potom-strashno-istoshno-zakrichala/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:15:43 +0300] "GET /fedor-podnyal-palec/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:16:12 +0300] "GET /net-ne-poveryu/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:16:19 +0300] "GET /ni-zvuka/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:16:26 +0300] "GET /ya-igral-rol-voloshina/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:17:20 +0300] "GET /a-tebe-chto-zdes-nado/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:17:52 +0300] "GET /ya-poshla-za-vami-a-vas-net/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)" 93.158.148.31 - - [14/Dec/2009:19:18:42 +0300] "GET /net-ne-poveryu/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"
robots.txt читает, а выполнять не хочет
ага, а если еще с мемкеш на пару гигов к нгинсу подцепить, а картинки на амазоновский сторадж - то все будет просто летать 😂
mimicunit добавил 14.12.2009 в 10:25
вобщем-то моя самописная цмс-ка по размеру как этот модуль кеширования, по внешнему виду сайт практически не отличитается от ВП, а работает намного быстрее
так-что монстро-цмс - по прежнему считаю извратом
глянул скрипт, MAX чисто вывод с ob_start() - ob_get_flush() кладет в папку кучей файликов по md5 от url
если дальше подумать, то быстрее будет кеш в базу ( например sqlite ) ложить с ключем по url, а не в файлы
а если еще подумать, то от wp нам только дизайн нужен и админка, но на сплоге( автонаполняемый блог ) под сапу админка не нужна впринципе, а шаблон проще переверстать под свой движок чем костыли на WP ставить
получается круговорот: статика - простенькая цмс - монстро-цмс - кеширование монстроцмс на статике - кеширование на динамике - ???монстро-кеширование???
адалт тоже не нужен
вы просто их много на площадку не ставили, и много страниц не добавляли
техчасть - пхп, мускул( либо sqlite ), марков
машинка - 2 гига памяти и древний атлончик, винт на 200 гигов 🚬
гиг исходников разгребался - пару суток
сколько бы не понадобилось текста - за ночь генерируется ☝
