Можно сделать просто пустой robots.txt, эффект тот же, а трафик экономится. ;)
404 однозначно лучше делать отдельной страницей со ссылками на главную, основные страницы разделов и т.д.
А что за ошибка 301, при которой перекидывает на главную? Если это редирект, то в чем смысл такой обработки?
Насколько я понял, робота Бигмира зовут BigMirSpider, а в логах он себя как идентифицирует?
Аналогично, как зовут робота UAPlus?
Вопрос уже как-то поднимался на форуме, поищите. А еще посмотрите соответствующий модуль Апача.
Если сервер кодировку выдает, то лучше эту строку убрать, тем более если сервер -- это Апач с русским модулем.
Не хранит данные в latin1, а сортировка данных при выборке делается по latin1.
Пардон, к подписи не приглядывался.
Как раз работу на fulltime ищу, так что могу реагировать немного неадекватно... :)
Может и найдете, если офис в центре Жмеринки. ;)
Господа, указывайте еще город, люди живут не только в Москве, за кольцевой тоже есть жизнь!
В таком случае иногда помогают внешние ссылки на внутренние страницы сайта.
Когда робот разбирает (а не собирает) страницы, в индекс заносятся координаты (положение) слов в тексте. Такой индекс называется координатным, насколько я знаю.
Следует заметить, что местонахождение слова в тексте лишь один из многих параметров, которые используются в алгоритме поиска.
