что-то с момента регистрации сайта ничего не обновляется, уже больше недели прошло
делайте запросы пока получаете ответы, когда достигните предела сервер не будет отвечать и надо часик пождать
вроде так. забанить не должны
.htaccess
RewriteEngine on
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://site.ru/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http://site.ru$ [NC]
RewriteRule .*\.(jpg|jpeg|gif|png|bmp)$ - [F,NC]
ваши картинки не будут отображаться на сайтах кроме http://site.ru/
по-моему это зависит от времени затраченого на скачивание страницы. сюда входит и время доставки. после смены дц с московского на сша время на скачивание у гугла значительно уменьшилось и стала доступна опция быстрая индексация
то же самое есть с рамблера
81.19.64.109 http://www.rambler.ru/srch?words= "Mozilla/5.0 (X11; U; FreeBSD i386; en-US; rv:1.8.0.9) Gecko/20070204 Firefox/1.5.0.9"
может клоакинг проверяют или еще что
в командной строке
mysql -u login -ppassword dbname < db.sql
а так?
ping -a 208.36.144.8
crawl-17.cuill.com
Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)
ставить контент выше всего
как я уже писал смена алгоритма по однословным запросам, у сайта их не могло быть 90%
может с этип апдейтом еще какие изменения прошли