Смотрим так
http://www.alexa.com/topsites
И так
http://www.alexa.com/topsites/countries/RU
Новый сайт www.site.com
Это в .htaccess
RewriteCond %{REQUEST_FILENAME} robots.txt$ [NC]
RewriteRule ^([^/]+) $1 [L]
RewriteCond %{HTTP_HOST} !^www\.site\.com
RewriteRule ^(.*)$ http://www.site.com/$1 [R=301,L]
Это в robots.txt
User-agent: Yandex
Disallow:
Host: www.site.com---------- Добавлено 25.08.2015 в 12:05 ----------Если на заработает, в начале .htaccess добавить
RewriteEngine on
По IP. Забанив по юзер-агенту, вы забаните реальных пользователей IE6 (WIn XP). А бот может сменить юзер-агент.
Это не боты поисковика, это прокси. Могут быть и реальные пользователи, могут быть и спаммеры. Но смысл блокировать, если они не создают большой трафик или нагрузку на сервер? По идее гугловский прокси должен давать реальные адреса X-Forwarded-For.
Теоретически ссылка с нофолоу не должна действовать. Но если кто-то сделает сайт, используя Википедию, да еще и оставить ссылку на источник без нофолу, то действовать будет. Но вероятность этого мала, особенно с учетом того, что рекламные ссылки в Википедими рано или поздно удаляют.
При таком количестве страниц на сайте это нормальная ситуация. А что же Вы хотели? Если страницы не будут меняться, то со временем гуглбот немного успокоиться. А пока ищите хостинг получше и оптимизируйте скрипты.
