Пишите в раздел "Работа для вебмастера".
Раз вы настолько информативны, то отправляйтесь в платный раздел "Работа для вебмастера", найдите специалиста и морочьте ему голову.
Вот тут явно наврали. Возьмите в wordstat запрос в кавычки, если хотите оценить его частоту.
... собирает семантическое ядро ... :)
Сеошник должен выдать, что должно быть на странице, а дизайнер будет думать, как это расположить.
Это вы считаете "по-серьёзному" ? У вас обработка одного запроса сервером сколько денег стоит?
А может быть вы последний раз читали help.yandex.ru в 2004 году и не знаете про про директиву CrawlDelay ? Поставьте хоть 3600 секунд.
Вы путаетесь в показаниях:
Так "стоп" или "периодически обращается"?
Вы же хотите чтобы "стоп". Я вам возражаю: тогда робот никогда больше не узнает, что robots.txt изменен.
Я пытаюсь понять, почему у вас возникают сложности на пустом месте, или это от недостаточной информированности, или тут что-то другое.
Какую вы решаете задачу-то?
Здрасьте. А если вы уберете robots.txt, домен больше никогда не попадет в индекс?
А зеркальщик как будет расклеивать зеркала, если вы уберете редирект?
Это вам лучше, извините, не сюда, а к доктору какому-нибудь.
Тогда отключите запись логов, отключите сервер от интернета в конце концов.
Нормально, у некоторых уже несколько месяцев висит 1 страница, на ней заголовок, телефон, мыло - и ничего, в индексе.
Если пока не знаете, что именно написать на сайте, лучше так.
Хрумером значит прогнали, а написать 100 строк в .htaccess у вас руки отвалятся?
А вы посмотрите по ссылке, какие User-agent у разных роботов, сходите.
Disallow: Yandex
запретит их всех.
http://www.robotstxt.org/orig.html - почитайте.
К сожалению, вы не обозначили подробно и полностью вашу задачу. 99%, что она стандартная, значит у нее есть стандартное решение.
Но вы вывернули эту задачу нестандартным образом:
Зачем?
