orka13

orka13
Рейтинг
102
Регистрация
28.03.2011
InspectorU:
TopperHarley, а где можно задавать шаблон для файла .htaccess, т.е., к примеру, добавить в него свои данные для блокировки "плохих" ботов? чтобы это делалось автоматически при генерации.

да просто закинуть его в папку шаблона data\templates\название шаблона\

А если шабов много, и не хочется после правки постоянно менять файлы по всех папках, то можно в коде шаблона подключить его так, чтобы при генерации подтягивался с конкретной папки (из data\files\_htaccess_file\.htaccess:

[COPYALLFILES-(data\files\_htaccess_file)-()]

Тот же принцип для файла robots.txt.

Фома:
А прогу для массовой регистрации поддоменов в C-panel никто не подскажет?
Всё что гуглится уже не скачивается.

В платном доргене PandoraBox есть такой плагин.

мой:

RewriteEngine On

### START Определяем главное зеркало как site.ru
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [L,R=301]
DefaultLanguage en
AddDefaultCharset windows-1251
php_value default_charset "cp1251"
SetEnvIfNoCase User-Agent "^.*AhrefsBot" bad_user
SetEnvIfNoCase User-Agent "^.*LinkpadBot" bad_user
SetEnvIfNoCase User-Agent "^.*MJ12bot" bad_user
SetEnvIfNoCase User-Agent "^.*Baiduspider" bad_user
SetEnvIfNoCase User-Agent "^.*SputnikBot" bad_user
SetEnvIfNoCase User-Agent "^.*msnbot" bad_user
SetEnvIfNoCase User-Agent "^.*Exabot" bad_user
SetEnvIfNoCase User-Agent "^.*DotBot" bad_user
SetEnvIfNoCase User-Agent "^.*wmaid" bad_user
SetEnvIfNoCase User-Agent "^.*statdom" bad_user
SetEnvIfNoCase User-Agent "^.*TurnitinBot" bad_user
SetEnvIfNoCase User-Agent "^.*Web-Monitoring" bad_user
SetEnvIfNoCase User-Agent "^.*200PleaseBot" bad_user
SetEnvIfNoCase User-Agent "^.*SLCC2" bad_user
SetEnvIfNoCase User-Agent "^.*SV1" bad_user
SetEnvIfNoCase User-Agent "^.*MSIE\s6\.1" bad_user
SetEnvIfNoCase User-Agent "^.*Ask\sJeeves" bad_user
SetEnvIfNoCase User-Agent "^.*HP\sWeb\sPrintSmart" bad_user
SetEnvIfNoCase User-Agent "^.*HTTrack" bad_user
SetEnvIfNoCase User-Agent "^.*IDBot" bad_user
SetEnvIfNoCase User-Agent "^.*Indy\sLibrary" bad_user
SetEnvIfNoCase User-Agent "^.*ListChecker" bad_user
SetEnvIfNoCase User-Agent "^.*MSIECrawler" bad_user
SetEnvIfNoCase User-Agent "^.*NetCache" bad_user
SetEnvIfNoCase User-Agent "^.*Nutch" bad_user
SetEnvIfNoCase User-Agent "^.*RPT-HTTPClient" bad_user
SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*Twiceler" bad_user
SetEnvIfNoCase User-Agent "^.*Webster\sPro" bad_user
SetEnvIfNoCase User-Agent "^.*www\.cys\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*Wysigot" bad_user
SetEnvIfNoCase User-Agent "^.*Yeti" bad_user
SetEnvIfNoCase User-Agent "^.*Accoona" bad_user
SetEnvIfNoCase User-Agent "^.*CazoodleBot" bad_user
SetEnvIfNoCase User-Agent "^.*CFNetwork" bad_user
SetEnvIfNoCase User-Agent "^.*ConveraCrawler" bad_user
SetEnvIfNoCase User-Agent "^.*DISCo" bad_user
SetEnvIfNoCase User-Agent "^.*Download\sMaster" bad_user
SetEnvIfNoCase User-Agent "^.*FAST\sMetaWeb\sCrawler" bad_user
SetEnvIfNoCase User-Agent "^.*Flexum\sspider" bad_user
SetEnvIfNoCase User-Agent "^.*Gigabot" bad_user
SetEnvIfNoCase User-Agent "^.*HTMLParser" bad_user
SetEnvIfNoCase User-Agent "^.*ia_archiver" bad_user
SetEnvIfNoCase User-Agent "^.*ichiro" bad_user
SetEnvIfNoCase User-Agent "^.*IRLbot" bad_user
SetEnvIfNoCase User-Agent "^.*Java" bad_user
SetEnvIfNoCase User-Agent "^.*km\.ru\sbot" bad_user
SetEnvIfNoCase User-Agent "^.*kmSearchBot" bad_user
SetEnvIfNoCase User-Agent "^.*libwww-perl" bad_user
SetEnvIfNoCase User-Agent "^.*Lupa\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*LWP::Simple" bad_user
SetEnvIfNoCase User-Agent "^.*lwp-trivial" bad_user
SetEnvIfNoCase User-Agent "^.*Missigua" bad_user
SetEnvIfNoCase User-Agent "^.*Offline\sExplorer" bad_user
SetEnvIfNoCase User-Agent "^.*OmniExplorer_Bot" bad_user
SetEnvIfNoCase User-Agent "^.*PEAR" bad_user
SetEnvIfNoCase User-Agent "^.*psbot" bad_user
SetEnvIfNoCase User-Agent "^.*Python" bad_user
SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*SMILE" bad_user
SetEnvIfNoCase User-Agent "^.*Speedy" bad_user
SetEnvIfNoCase User-Agent "^.*Teleport\sPro" bad_user
SetEnvIfNoCase User-Agent "^.*TurtleScanner" bad_user
SetEnvIfNoCase User-Agent "^.*voyager" bad_user
SetEnvIfNoCase User-Agent "^.*WebCopier" bad_user
SetEnvIfNoCase User-Agent "^.*WebData" bad_user
SetEnvIfNoCase User-Agent "^.*WebZIP" bad_user
SetEnvIfNoCase User-Agent "^.*Yanga" bad_user
SetEnvIfNoCase User-Agent "^.*Ezooms" bad_user
SetEnvIfNoCase User-Agent "^.*BLEXBot" bad_user
SetEnvIfNoCase User-Agent "^.*Spider/Bot" bad_user
Deny from env=bad_user

Не особо надо, но: как сделать, чтобы на доре внутренние ссылки были не абсолютными, а относительными? Типа не

<a href="http://dor.ru/samsung-drivers.html">

а

<a href="/samsung-drivers.html">
Realtyman:
а средствами js никак нельзя такое сделать?
Я смотрел в выдаче и видел как с xvideos проксируют, только не пойму как. Наверно средствами .htaccess както

Они их проксируют не через свой сайт, а тупо js-плеер на стороне клиента запускает видео в своем окне, подгружая его с xvideos. Погуглите логотип плеере с тех конкурентов в выдаче и все поймете. В подтверждение моих слов откройте в браузере список загружаемых файлов на странице и увидите что видео FLV\MP4 напрямую грузится с xvideos (в опера Ctrl+Shift+C > Network > Size).

orka13:
Это не шутка. Рецепт:
У меня гигабайт текстовки. Я его разбил (через KeyWordKeeper 4) на 1000 шт файлов по 1 мб. При чем в папке \data\texts\ только 40 шт таких файлов из 1000 (если их слишком много, то генерация больше времени жрет). Остальные файлики я периодически доливаю в папку, удаляя старые. Делаю это после каждой крупной пачки (раз в неделю…месяц)

Поправка, можно все оставить в папке, но настроить этот параметр так, чтобы при генерации использовалась только часть файлов. Из ридми пандоры:

TextsLimit. Если в папке текстов очень много файлов, то можно настроить программу брать из папки текстов не все файлы на обработку, а указанное количество, для этого укажите TextsLimit=30, где 30 – количество рандомных файлов из папки текстов

Тут смысл не в том, что человек не знает, как добыть список файлов, а в том, что он не смекнул что такое возможно автоматом сделать без ручной рутины. Если подумать философски, то у него логика работает в сторону идеализации, а не автоматизации. Это очень хорошо при работе с СДЛ сайтами. Но при массовости дорвеев будет тормозить работу. Я таким был пару лет назад, но вылечился :). Знаю, что нельзя всех судить по себе.

Закроем эту подтему, ибо действительно со стороны выглядит, будто хочу прогнать парня. В качестве извинений постараюсь помочь с решением проблем.

install:
Force68, а если картинок тыщи, как их всех в текстовый файл вписать.
По одной строчке гемор или есть какой способ.
С переименованием картинок 1.jpg, 2.jpg и тд проблем не будет.

Ответ: надо собрать список файлов в директории и вывести их в текстовый документ. Делает это Total Commander (или переименовать он тоже может), или другой софт\скрипт\SSH. Гугл в помощь. Но если Вы не в курсе о таких тонкостях, то советую переосмыслить стоит ли лезть в дорвеи. Это не сарказм\негатив, это реальная рекомендация.

everton17:
можно ли как-то массово из ссылок вида http://site.ru/keyword.html
сделать ссылки вида
<a href="url">key</a>?

Вопрос сам по себе неправильный, ели имелось ввиду из:

http://site.ru/keyword.html 

сделать ссылки вида

<a href="url">keyword.html</a>

То вот замена регуляркой (редакторы EmEditor\Notepad++):

http://[^\r\n/]+/(.*\.html)

на

<a href="url">\1</a>

там только 1 файл. Я больше 50 мб его не делал, потом просто доливал. Даже во время пакетки можно на паузу поставить и долить файл ключей, с текстовкой так нельзя.

Всего: 532