Пишите в раздел "Работа для вебмастера".
Раз вы настолько информативны, то отправляйтесь в платный раздел "Работа для вебмастера", найдите специалиста и морочьте ему голову.
Вот тут явно наврали. Возьмите в wordstat запрос в кавычки, если хотите оценить его частоту.
... собирает семантическое ядро ... :)
Сеошник должен выдать, что должно быть на странице, а дизайнер будет думать, как это расположить.
Это вы считаете "по-серьёзному" ? У вас обработка одного запроса сервером сколько денег стоит?
А может быть вы последний раз читали help.yandex.ru в 2004 году и не знаете про про директиву CrawlDelay ? Поставьте хоть 3600 секунд.
Вы путаетесь в показаниях:
Так "стоп" или "периодически обращается"?
Вы же хотите чтобы "стоп". Я вам возражаю: тогда робот никогда больше не узнает, что robots.txt изменен.
Я пытаюсь понять, почему у вас возникают сложности на пустом месте, или это от недостаточной информированности, или тут что-то другое.
Какую вы решаете задачу-то?
Здрасьте. А если вы уберете robots.txt, домен больше никогда не попадет в индекс?
А зеркальщик как будет расклеивать зеркала, если вы уберете редирект?
Это вам лучше, извините, не сюда, а к доктору какому-нибудь.
Тогда отключите запись логов, отключите сервер от интернета в конце концов.
Нормально, у некоторых уже несколько месяцев висит 1 страница, на ней заголовок, телефон, мыло - и ничего, в индексе.
Если пока не знаете, что именно написать на сайте, лучше так.
Хрумером значит прогнали, а написать 100 строк в .htaccess у вас руки отвалятся?
А вы посмотрите по ссылке, какие User-agent у разных роботов, сходите.
Disallow: Yandex
запретит их всех.
http://www.robotstxt.org/orig.html - почитайте.
К сожалению, вы не обозначили подробно и полностью вашу задачу. 99%, что она стандартная, значит у нее есть стандартное решение.
Но вы вывернули эту задачу нестандартным образом:
Зачем?
Пишите в раздел "Работа для вебмастера".
у кого есть свободная минута
Раз вы настолько информативны, то отправляйтесь в платный раздел "Работа для вебмастера", найдите специалиста и морочьте ему голову.
есть такие запросы, зде ета цифра 11240 запросов, а у меня по статистике 5 переходов.
Вот тут явно наврали. Возьмите в wordstat запрос в кавычки, если хотите оценить его частоту.
чтобы сеошник сначала сделал схематический набросок страницы что-где-как располагается. Потом дизайнер
... собирает семантическое ядро ... :)
Сеошник должен выдать, что должно быть на странице, а дизайнер будет думать, как это расположить.
А по-серьёзному - серверу незачем обрабатывать лишние запросы.
Это вы считаете "по-серьёзному" ? У вас обработка одного запроса сервером сколько денег стоит?
А может быть вы последний раз читали help.yandex.ru в 2004 году и не знаете про про директиву CrawlDelay ? Поставьте хоть 3600 секунд.
Вы путаетесь в показаниях:
Там запрет, значит всё - стоп! Больше не запрашивает адреса ни со старого, ни с нового доменов.
Если он периодически обращается к этому файлу
Так "стоп" или "периодически обращается"?
Вы же хотите чтобы "стоп". Я вам возражаю: тогда робот никогда больше не узнает, что robots.txt изменен.
Я пытаюсь понять, почему у вас возникают сложности на пустом месте, или это от недостаточной информированности, или тут что-то другое.
быстрых и простых решений, которые начинают работать почти сразу
Какую вы решаете задачу-то?
Там запрет, значит всё - стоп! Больше не запрашивает адреса ни со старого, ни с нового доменов. Разве не логично?
Здрасьте. А если вы уберете robots.txt, домен больше никогда не попадет в индекс?
А зеркальщик как будет расклеивать зеркала, если вы уберете редирект?
Задача простая - мне не нужен этот робот в логах, чисто эстетически
Это вам лучше, извините, не сюда, а к доктору какому-нибудь.
Тогда отключите запись логов, отключите сервер от интернета в конце концов.
Нормально, у некоторых уже несколько месяцев висит 1 страница, на ней заголовок, телефон, мыло - и ничего, в индексе.
Если пока не знаете, что именно написать на сайте, лучше так.
после прогона Хрумером осталось штук 100-200 битых ссылок
Хрумером значит прогнали, а написать 100 строк в .htaccess у вас руки отвалятся?
поэтому и счёл его равным UA Yandex. Возможно ошибаюсь.
А вы посмотрите по ссылке, какие User-agent у разных роботов, сходите.
Disallow: Yandex
запретит их всех.
.....
A case insensitive substring match of the name without version information is recommended.
http://www.robotstxt.org/orig.html - почитайте.
Ды проблемы то нет, скорее желание разобраться
К сожалению, вы не обозначили подробно и полностью вашу задачу. 99%, что она стандартная, значит у нее есть стандартное решение.
Но вы вывернули эту задачу нестандартным образом:
Вопрос: как остановить бота, если при обращении к старому /robots.txt он получает 301 ответ сервера?
Зачем?