Ну а с чего Вы решили что <noindex> будет недостаточно ? Мне кажется вполне его хватит . Правда для Гугла всё равно придётся ставить rel="nofollow" . ))
А зачем "портить" код невалидным тегом, когда можно обойтись одним nofollow
Проблема в другом, гугл сливает вес ссылок нофоллоу в никуда, потому, лучше делать редирект. :)
Куплю места под статьи: Возникла необходимость запретить краулеры типа 80легс.ком и всю остальную парашу, ибо сервер грузят прилично.
Есть у кого нить список юзернеймов для краулеров типа 80легс и команд к их посыланию обратно в пендостан краулить сайт белого дома?
Откуда этот бред, что xml карта это для гугла а html только для яндекса? Все пс понимают формат xml карты и яша здесь не исключения. У них стандарт такой, заглядывать в роботс и искать в директиве Sitemap путь к хмл формату.
А зачем "портить" код невалидным тегом, когда можно обойтись одним nofollow
Проблема в другом, гугл сливает вес ссылок нофоллоу в никуда, потому, лучше делать редирект. :)
Теперь и яндекс не учитывает ссылки в nofollow 🚬
siv1987
я не спрашиваю что сделать, а спрашиваю как.
SiBoner
мне ненадо закрывать сайт от яши, мне надо от всяких пендосовских краул сервисов закрыть.
Ну дык я вам и ответил как - закрыть в роботс.
Возникла необходимость запретить краулеры типа 80легс.ком и всю остальную парашу, ибо сервер грузят прилично.
Есть у кого нить список юзернеймов для краулеров типа 80легс и команд к их посыланию обратно в пендостан краулить сайт белого дома?
закройте в роботс доступ всем кроме яше и гуглу
ТС, у вас все правильно, только пустую директиву Ситемап либо уберите либо пропишите туда xml карту.
Сервис бесплатных форумов mybb.ru использует двиг punbb.
Случайно не календарь или профили пользователей? Дубли закрыты в роботсе?
а можно пример правильных форумов)
🚬
А вот это не есть хорошо.
Если пс сменит свой усер-агент и определит что вы отдаете страницу отличной от той, что отдаете гостям, можно заработать себе бан.
Да и вообще, в чем смысл прятать форумы? То сначала только админы, то потом поисковики...
Откуда этот бред, что xml карта это для гугла а html только для яндекса? Все пс понимают формат xml карты и яша здесь не исключения. У них стандарт такой, заглядывать в роботс и искать в директиве Sitemap путь к хмл формату.