jkm

У консольного lftp есть команда mrm.

mrm */*

Удалит файлы только в каталогах первого уровня.

Файлы в каталогах второго уровня отстанутся.

relative_urls : false

Чтобы ссылки работали относительно корня сайта они должны начинаться со слеша.

Либо явно указать базовый адрес текущего документа.

<base href="http://www.site.ru/">

progreccor, если движек показывает одинаковую страницу для адресов:

www.site1.ru/zoloto.php

www.site1.ru/zoloto.php/

www.site1.ru/zoloto.php/images/foto.jpg

www.site1.ru/zoloto.php/images/platina.php

Можно настроить редирект этих адресов на www.site1.ru/zoloto.php

RewriteEngine On
RewriteRule ^(.+?\.php)/.* http://www.site1.ru/$1 [R=301,L]

Если .htaccess находится в корне сайта, то должно работать так:

RewriteEngine On
RewriteCond %{QUERY_STRING} ^sort=nameup$ [NC]
RewriteRule ^goods/catalog/122/$ http://sto21.ru/goods/catalog/122/? [R=301,L]

Версия такая, что на сайте открываются адреса со слешем вконце www.site1.ru/zoloto.php/

А внутри относительные ссылки не начинаются со слеша images и platina.php

Робот гуляет по таким страницам и просто добавляет найденое в конец адреса.

Добавить тег <base href="http://www.site1.ru/" />

Воспользоваться утилитой nslookup

nslookup domain.ru ns1.serv2.ru

http://httpd.apache.org/docs/2.2/mod/mod_dir.html#directoryslash

DirectorySlash Off

http://httpd.apache.org/docs/2.2/mod/core.html#errordocument

ErrorDocument 403 /mymessage.html

<?php echo mt_rand();

С таким кодом длина ответа будет переменная и утилита ab всегда покажет ошибки.

Failed requests:        5807

   (Connect: 0, Receive: 0, Length: 5807, Exceptions: 0)

Следует делать постоянное число знаков

<?php echo mt_rand(100000, 999999);