Вы не видите суслика? А он есть! (с)
С первого взгляда понятно, почему сайт в ЯК.
Отсутствие слеша в ссылке приводит к лишнему серверному редиректу www.mydomain.com -> www.mydomain.com/
В чём причина?
Остался вопрос зачем ради одного IP надо покупать целую пачку из тоже подсетки.
В буржунете 3 поисковика приносят 90% трафа. Остальные поисковики создают ~80% нагрузки. В Рунете примерно таже картина. Так что берём калькулятор и тупо считаем, как поступить выгоднее исходя из заработков. На больших сайтах часто выгоднее оставить несколько поисковиков.
P.S. Но если ради нагрузок, создаваемых Teoma, и 50 посетителей в месяц оттуда Вы готовы переехать c VDS на dedicated, заплатить вместо $20 в месяц $150 в месяц и нанять сайт. админа, то никто Вам этого не запрещает - это Ваше право так поступать ;)
На WebMasterWorld тоже дураки сидят? Они запрещали индексацию всем поисковикам месяца на три. Включая Google. Причина таже, что и у топик-стартера: у больших сайтов жрут много ресурсов. Например, если у Вас сайт объёмом более 100К страниц, то роботы типа Teoma время от времени будут создавать настолько приличную нагрузку, что желателен Dedicated. При том, что потом они приведут по 2-3 человека в сутки максимум. В итоге, мне так же пришлось отставить только Топ5 поисковиков.
А может причина - новый закон об игорном бизнесе? ☝
Да людям лишь бы хостинги свои порекламировать. Такова жизнь и с этим ничего не поделать. Взял в итоге http://mirhosting.com - они на сайте в явном виде написали, что раздают IP в разных сегментах класса С.
В теории - да. На практике, словарный запас выходит далеко за пределы Webster's :)
Чтобы напарсить эту базу в вордтрекере, нужно знать список всех одиночных слов. А это ещё та задача. Я вот сейчас активно думаю: купить ли базу Wordtracker Top100K, Top500K, Top1M или отпарсить. Что-то кажется, что дешевле купить...