Существует довольно много регулярно обновляемых страниц со списком доменов. Не исключено, что домен попал в один из подобных списков.
С уважением,
Александр Садовский.
Официально известного способа не существует, и даже Google API не позволяет это (в FAQ написано: "...you cannot access information beyond the 1000th result for any given query").
Остается непонятным, зачем получать все 5 миллионов результатов -- даже если страница весит 20Кб, их перекачка выльется примерно в 10Гб трафика. Неужели есть такие важные данные на оставшихся страницах, что ради этого не жалко 400-700 долларов?
Вот уж действительно логотип с русским звучанием. ;)
Есть еще косвенный эффект, который проявится не сразу. У многих поисковиков существует лимит на число страниц, индексируемых с одного домена. Как правило, все внутренние страницы ссылаются на главную и на "морды" разделов, повышая тем самым их PR, если они известны поисковику. Поэтому деление на домены дает возможность использовать очень скромные PR внутренних страниц, но если их достаточно много, то сумма может быть неплохой.
...а где постеры -- там и эротические постеры, где эротика там и порнография, где порнография -- там педофилы, где педофилы -- там агенты ФБР, так что наибольшим спросом будет пользоваться подслушивающая и подглядывающая аппаратура. :)
К сожалению, в бизнесе далеко не все так однозначно. Я рекомендую не зацикливаться на одном типе товаров, а экспериментировать. Скажем, в одном месяце попробовать продавать постеры, если дело не пошло -- в следующем месяце предлагать книги и т.д. Наверняка найдется товар, который больше всего подходит к имеющейся аудитории.
Если продажи есть, но не так велики, как хотелось бы, это уже хороший результат. Потому что оптимизировать продажи всегда легче, чем понять что интересует данную аудиторию, кроме обоев.
А у них было написано, но зачем-то это удалили. На этой странице и здесь видно, что робота зовут Scooter / VScooter.
Дополню: "наличие контента" -- ключевое слово. Если страницы нечем наполнить, то стоит задуматься о контекстной рекламе даже по популярным запросам.
Смотрите регулярно логи, и как только заметите подобный редирект, настраиваете mod_rewrite для выдачи ошибки 403 посетителю, который пришел с соответствующим реферером.
Если на ваш сайт устраивают подобные атаки каждый день, можете составить список "легальных" referer-ов, и перекидывать пользователя, пришедшего с другого сайта на страницу, где сообщать пользователю о том, что у него подозрительный referer, рассказывать ему о первых признаках паранойи и давать возможность вручную перейти на нужную страницу. :)
Если забанят один домен, не вся работа будет потеряна.
По поводу "потоков PR", которые здесь описывают -- Wolf абсолютно верно заметил, что PR касается только страниц, а не доменов, и это ничего не даст. тИЦ может быть стать выше благодаря поддоменам, но он не влияет на результаты поиска.
Логично учитывать только текст, т.к. теги могут быть служебными и не видны пользователю. Как реализовано в поисковиках -- это могут сказать только Михаил, Илья, Влад и др.
Если бы робот успевал смоделировать точный дизайн страницы, и высчитать видимость того или иного слова, он мог бы учитывать и теги. Но это слишком трудоемкая работа, и роботы ее не делают.
