blacks

Рейтинг
69
Регистрация
04.12.2008

Господа, если вам не сложно ответе на мо вопросы из 4го поста?

Заранее ОГРОМНОЕ СПАСИБО всем откликнувшимся!

orphelin:
не совсем так по первому пункту.

Большое спасибо!!!

А по вопросам из 4го поста не подскажите🙄:o ?

Добавлю/обозначусь итоговые вопросы:

1.В какой и главное почему последовательности ставить в роботс?

яндекс а потом все остальные ПС

или
все ПС а потом яндекс

2.Прочел Помогаем написать ФАК - зеркала с ввв и без

- задумался над схемой как правильно индексировать новый/нулевой сайт на который нет внеш ссылок?

1. в роботс указать основной хост.
2. подождать пока гугла и яндекс проиндексируют + определят зеркала + склеят
3. потом только ставить htaccess 301 с www на без www
4. поставить Sitemaps

или просто создать htaccess c 301 и в роботс прописать хост?

3.Как правильно прописать карту сайта:

для каждого поискового бота в роботс прописывать карту сайта

или через пробел в конце роботса?

Всем откликнувшимся большое спасибо!

Спасибо !FrykT

!FrykT:
4. Там, у вас, в принципе, всё верно написано.

вы имеете ввиду для каждого поддомена свой роботс?

!FrykT:
robots.txt можно также перенаправлять на скрипт, который будет генерировать нужный контент.

тоже не понял :o - в зависимости от папки/языковой версии генерится определнный роботс?

(перечитал раз 6 но так и не понял)

!FrykT:
Папки можно закрыть паролем или сделать Forbidden (пример: RewriteRule ^my.txt$ - [F])

:) - нет часть возможно придется открыть

(всегда интересовало может ли спайдер читать htaccess :) ?)

Andreyka спасибо за разъяснения!

Вопрос закрыт.

Andreyka:
Как правило нет - по причинам безопасности

Понятно.

Спасибо.

PS значит это возможно только через скрипты? - вроде видел такие топики🙄

Andreyka:
А что, еще есть такие хостинги без mod_geoip?

На моем нет :( - peterhost.ru

Давно не смотрел на другие хостинги... а что он уже везде на виртуальных хостингах стоит?

Andreyka:
Я рекомендую банить по geo_ip - надежнее

Я бы с радостью но вот хостинг не позволяет - виртуальный

А брать сервер пока нет нужды :(

Интересно при таком Accept-Language бане могут быть проблемы?

- дополнительная сильная нагрузка на сервер?

- проблемы с посетителями?

Стоит ли банить ботов и людей при помощи определения языка клиента?

RewriteCond %{HTTP:Accept-Language} (aa|ab|af|am|ar|as|ay|az|ba|be|bg|bh|bi|bn|bo|br|ca|co|cs|cy|da|de|dz|el|en|eo|es|et|eu|fa|fi|fj|fo|fr|fy|ga|gd|gl|gn|gu|ha|hi|hr|hu|hy|ia|ie|ik|in|is|it|iw|ja|ji|jw|ka|kk|kl|km|kn|ko|ks|ku|ky|la|ln|lo|lt|lv|mg|mi|mk|ml|mn|mo|mr|ms|mt|my|na|ne|nl|no|oc|om|or|pa|pl|ps|pt|qu|rm|rn|ro|ru|rw|sa|sd|sg|sh|si|sk|sl|sm|sn|so|sq|sr|ss|st|su|sv|sw|ta|te|tg|th|ti|tk|tl|tn|to|tr|ts|tt|tw|uk|ur|uz|vi|vo|wo|xh|yo|zh) [NC]

RewriteRule .* http://www.google.com [L]

(хочу оставить de, ru, en, jp, ua)

- на тарифе вирт хостинга нет geoIP

- плюс будет добвлен бан по имени клиента

- бан по IP мне пока труден для понимания - откуда IP брать 🙄

Спасибо

Andreyka:
Банить ботов лучше всего через ipset
Ну и конечно - банить на отдельном сервере

Посмотрел что такое ipset - как я понял для этого нужен собственный сервер

и на виртуальном такое не сделать?

Всего: 135