1.В какой и главное почему последовательности ставить в роботс?
яндекс а потом все остальные ПС
или
все ПС а потом яндекс
2.Прочел Помогаем написать ФАК - зеркала с ввв и без
- задумался над схемой как правильно индексировать новый/нулевой сайт на который нет внеш ссылок?
1. в роботс указать основной хост. 2. подождать пока гугла и яндекс проиндексируют + определят зеркала + склеят 3. потом только ставить htaccess 301 с www на без www 4. поставить Sitemaps
или просто создать htaccess c 301 и в роботс прописать хост?
3.Как правильно прописать карту сайта:
для каждого поискового бота в роботс прописывать карту сайта
Господа, если вам не сложно ответе на мо вопросы из 4го поста?
Заранее ОГРОМНОЕ СПАСИБО всем откликнувшимся!
не совсем так по первому пункту.
Большое спасибо!!!
А по вопросам из 4го поста не подскажите🙄:o ?
Добавлю/обозначусь итоговые вопросы:
1.В какой и главное почему последовательности ставить в роботс?
яндекс а потом все остальные ПС
все ПС а потом яндекс2.Прочел Помогаем написать ФАК - зеркала с ввв и без
- задумался над схемой как правильно индексировать новый/нулевой сайт на который нет внеш ссылок?
или просто создать htaccess c 301 и в роботс прописать хост?
3.Как правильно прописать карту сайта:
для каждого поискового бота в роботс прописывать карту сайта
или через пробел в конце роботса?
Всем откликнувшимся большое спасибо!
Спасибо !FrykT
4. Там, у вас, в принципе, всё верно написано.
вы имеете ввиду для каждого поддомена свой роботс?
robots.txt можно также перенаправлять на скрипт, который будет генерировать нужный контент.
тоже не понял :o - в зависимости от папки/языковой версии генерится определнный роботс?
(перечитал раз 6 но так и не понял)
Папки можно закрыть паролем или сделать Forbidden (пример: RewriteRule ^my.txt$ - [F])
:) - нет часть возможно придется открыть
(всегда интересовало может ли спайдер читать htaccess :) ?)
Andreyka спасибо за разъяснения!
Вопрос закрыт.
Как правило нет - по причинам безопасности
Понятно.
Спасибо.
PS значит это возможно только через скрипты? - вроде видел такие топики🙄
А что, еще есть такие хостинги без mod_geoip?
На моем нет :( - peterhost.ru
Давно не смотрел на другие хостинги... а что он уже везде на виртуальных хостингах стоит?
Я рекомендую банить по geo_ip - надежнее
Я бы с радостью но вот хостинг не позволяет - виртуальный
А брать сервер пока нет нужды :(
Интересно при таком Accept-Language бане могут быть проблемы?
- дополнительная сильная нагрузка на сервер?
- проблемы с посетителями?
Стоит ли банить ботов и людей при помощи определения языка клиента?
RewriteCond %{HTTP:Accept-Language} (aa|ab|af|am|ar|as|ay|az|ba|be|bg|bh|bi|bn|bo|br|ca|co|cs|cy|da|de|dz|el|en|eo|es|et|eu|fa|fi|fj|fo|fr|fy|ga|gd|gl|gn|gu|ha|hi|hr|hu|hy|ia|ie|ik|in|is|it|iw|ja|ji|jw|ka|kk|kl|km|kn|ko|ks|ku|ky|la|ln|lo|lt|lv|mg|mi|mk|ml|mn|mo|mr|ms|mt|my|na|ne|nl|no|oc|om|or|pa|pl|ps|pt|qu|rm|rn|ro|ru|rw|sa|sd|sg|sh|si|sk|sl|sm|sn|so|sq|sr|ss|st|su|sv|sw|ta|te|tg|th|ti|tk|tl|tn|to|tr|ts|tt|tw|uk|ur|uz|vi|vo|wo|xh|yo|zh) [NC]RewriteRule .* http://www.google.com [L]
(хочу оставить de, ru, en, jp, ua)
- на тарифе вирт хостинга нет geoIP
- плюс будет добвлен бан по имени клиента
- бан по IP мне пока труден для понимания - откуда IP брать 🙄
Спасибо
Банить ботов лучше всего через ipset
Ну и конечно - банить на отдельном сервере
Посмотрел что такое ipset - как я понял для этого нужен собственный сервер
и на виртуальном такое не сделать?