mimicunit

написанные на php - все работают

или вы хотите на никсовом сервере под вайном запустить десктопный виндовый софт?

написать яндексу что у них краулер убогий? 😆

так они похоже сами это знают, не умеют индексировать - с выдачей извращаются 🙅

написать платону список своих доменов - чтоб их сразу все забанили?

аааааааааа!!!

как я ступил, аж стыдно 😂

s91 - сори 🍻

для танкистов:

берем 2 строчки лога:

93.158.148.31 - - [14/Dec/2009:19:13:27 +0300] "GET /i-mnogo-strashnee/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"
93.158.148.31 - - [14/Dec/2009:19:13:48 +0300] "GET /i-poluchaetsya-zlo/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

дата одной записи - [14/Dec/2009:19:13:27 +0300] , дата второй записи - [14/Dec/2009:19:13:48 +0300]

делаем простейшее вычитание 19:13:48 - 19:13:27 = 21 секунда

из 3-го класса мы помним( s91 - вы уже 3-й класс закончили? ), что 21 секунда меньше 2 минут( 2*60=120 секунд )

пример некорректности работы Crawl-delay

robots.txt:

User-agent: Yandex

Crawl-delay: 2 # задает таймут в 2 секунды



User-agent: *

Disallow: /search

Crawl-delay: 5

site_access.log:

93.158.130.181 - - [14/Dec/2009:13:27:12 +0300] "GET /robots.txt HTTP/1.1" 200 35 "-" "YandexSomething/1.0"

95.108.147.242 - - [14/Dec/2009:18:40:51 +0300] "GET /robots.txt HTTP/1.1" 200 35 "-" "YandexSomething/1.0"



93.158.148.31 - - [14/Dec/2009:19:03:29 +0300] "GET /ty-pravilno-govoril/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:04:26 +0300] "GET /gniloe-vashe-pokolenie/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:05:30 +0300] "GET /dobryj-den-doktor-makartur/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:05:48 +0300] "GET /obyazan-i-xochu-raznye-veshhi-verno/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:05:58 +0300] "GET /rebyata-zamechatelnye/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:06:27 +0300] "GET /odnako-dom-tak-nazyvali/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:07:14 +0300] "GET /eto-eshhe-nichego-byvayut-perly-i-pochishhe/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:08:03 +0300] "GET /u-nego-byla-doverennost/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:08:52 +0300] "GET /xot-eto-i-dlilos-lish-dolyu-sekundy/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:09:44 +0300] "GET /delo-delaetsya-tak/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:10:49 +0300] "GET /dlinnye-predosteregayushhie/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:11:25 +0300] "GET /otkroj-byuro/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:12:48 +0300] "GET /ya-vot-i-bespokoyus/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:13:27 +0300] "GET /i-mnogo-strashnee/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:13:48 +0300] "GET /i-poluchaetsya-zlo/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:14:31 +0300] "GET /a-potom-strashno-istoshno-zakrichala/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:15:43 +0300] "GET /fedor-podnyal-palec/trackback/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:16:12 +0300] "GET /net-ne-poveryu/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:16:19 +0300] "GET /ni-zvuka/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:16:26 +0300] "GET /ya-igral-rol-voloshina/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:17:20 +0300] "GET /a-tebe-chto-zdes-nado/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:17:52 +0300] "GET /ya-poshla-za-vami-a-vas-net/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

93.158.148.31 - - [14/Dec/2009:19:18:42 +0300] "GET /net-ne-poveryu/feed/ HTTP/1.1" 404 814 "-" "Yandex/1.01.001 (compatible; Win16; I)"

robots.txt читает, а выполнять не хочет

ага, а если еще с мемкеш на пару гигов к нгинсу подцепить, а картинки на амазоновский сторадж - то все будет просто летать 😂

mimicunit добавил 14.12.2009 в 10:25

вобщем-то моя самописная цмс-ка по размеру как этот модуль кеширования, по внешнему виду сайт практически не отличитается от ВП, а работает намного быстрее

так-что монстро-цмс - по прежнему считаю извратом

глянул скрипт, MAX чисто вывод с ob_start() - ob_get_flush() кладет в папку кучей файликов по md5 от url

если дальше подумать, то быстрее будет кеш в базу ( например sqlite ) ложить с ключем по url, а не в файлы

а если еще подумать, то от wp нам только дизайн нужен и админка, но на сплоге( автонаполняемый блог ) под сапу админка не нужна впринципе, а шаблон проще переверстать под свой движок чем костыли на WP ставить

получается круговорот: статика - простенькая цмс - монстро-цмс - кеширование монстроцмс на статике - кеширование на динамике - ???монстро-кеширование???

адалт тоже не нужен

вы просто их много на площадку не ставили, и много страниц не добавляли

техчасть - пхп, мускул( либо sqlite ), марков

машинка - 2 гига памяти и древний атлончик, винт на 200 гигов 🚬

гиг исходников разгребался - пару суток

сколько бы не понадобилось текста - за ночь генерируется ☝