По своим наблюдениям, два сайта, которые сильно пострадали от новых алгориков
Гугла, был заменён практически на 80% текстовый контент (на одном сильный рерайт, на
другом поменяли копипаст). Сейчас рерайтный сайт реанимировался и некоторых
конкурентов оставил в "попе", а вот, на котором просто сменили копипаст на копипаст,
со ссылкой на первоисточник, Гугл как-то нехотя выбрасывает старьё, а новые страницы заходят в индекс, но плохо ранжируются.
Рерайтный сайт прогнался по англоязычным статейным каталогам, копипастный ещё не успели.
какими левыми?
Гугл почему-то индексирует всё и если "левые" страницы, то он просто
тебя посылает на 100500 страницу свой выдачи, куда даже сам не ходит, не говоря уже за пользователей.
это на сервере яшки больше места нет, лимит ...
одним по 75, другим по 32, а некоторым вооще по одной.
Разбавлять всегда полезно.
Проданы to Ridli.
Ну, собственно так и должно быть. Если у вас имеется один, два или три IP, вы назначаете им домены по умолчанию, а DNS делает своё дело.
На одном IP могут быть несколько доменов. Вы так же можете изменить IP своим доменам, перехать на другой сервер, но уникальность домена останется.
Поисковые системы как ложат бан на домен? Они же не будут весь IP банить (только в крайних случаях)...
Если как в вашем первом псту написано, так у меня даже голова разболелась такое читать ...
Гугл проклеивает с WWW и без него, очень хорошо. А что значит склеивать IP сайта? На то он и IP что бы его ни какой дурак не склеял...
Даже если вы в роботсе не укажите хост или роботса вообще не будет, то Гугл может и сам разобраться что к чему. Ну, а в вашем случае, дайте покушать боту, то чего вам нужно и всё будет гуд.
Дык а в Гугле что? Или вы в Яндексе зарплату получаете?
Если в Гугле сайт проиндексирован, значит развивайте, как тот Паритоша яндексовский вам советует ... в Яндексе.
А Bing проиндексировал с Yahoo?
По утрам, ложите левую руку на правое плечо и говорите:"Ангел мой, пойдём со мной, ты впереди, я за тобой".
Ну, а как спать ... не забывайте поблагодарить своего Ангела.
Этот поляк видимо простреливает уязвимости.
Если у вас есть возможность серверно забанить его IP,
то надо банить, а нет, значит для данной директории домена.
Автоматически банить IP не советую, а то можно и поисковые
боты побанить по ошибке.
Лучше, чаще просматривать логи и на их основании делать выводы.
А вообще, нужно банить всех назойливых ботов, что бы серверу
легче дышалось. Сейчас боты гуляют всякие, начиная от всяких
серверов статистики и кончая тестовыми, без "прописки" ...
Небольшая коллекция юзер агентов:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} Java [OR] RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} Voyager [OR] RewriteCond %{HTTP_USER_AGENT} PostRank [OR] RewriteCond %{HTTP_USER_AGENT} PycURL [OR] RewriteCond %{HTTP_USER_AGENT} Aport [OR] RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} DotBot [OR] RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} larbin [OR] RewriteCond %{HTTP_USER_AGENT} Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} libwww [OR] RewriteCond %{HTTP_USER_AGENT} Wget [OR] RewriteCond %{HTTP_USER_AGENT} SWeb [OR] RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} Soup [OR] RewriteCond %{HTTP_USER_AGENT} WordPress [OR] RewriteCond %{HTTP_USER_AGENT} PHP/ [OR] RewriteCond %{HTTP_USER_AGENT} spbot [OR] RewriteCond %{HTTP_USER_AGENT} MLBot [OR] RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} FairShare [OR] RewriteCond %{HTTP_USER_AGENT} Yeti [OR] RewriteCond %{HTTP_USER_AGENT} Birubot [OR] RewriteCond %{HTTP_USER_AGENT} YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR] RewriteCond %{HTTP_USER_AGENT} Linguee [OR] RewriteCond %{HTTP_USER_AGENT} Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} Purebot [OR] RewriteCond %{HTTP_USER_AGENT} User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} Nutch [OR] RewriteCond %{HTTP_USER_AGENT} NetCraft [OR] RewriteCond %{HTTP_USER_AGENT} Majestic-12 [OR] RewriteCond %{HTTP_USER_AGENT} DoCoMo [OR]
