_Игорь, сайт/2014/11/22 это страница просто новостная, ну то есть там описаны 10-15 новостей с заголовком. Хотелось бы закрыть ее от индексации, но сами новости, чтоб индексировались.
SeVlad, так неспроста же приходят эти непонятные запросы. просто так никто обращаться не будет. ну ошибся бот раз, второй ,но этот юзер постоянно гоняет....вот в чем незадача.
_Игорь, сайт/2014/11/22 это страница просто новостная, ну то есть там описаны 10-15 новостей с заголовком. Хотелось бы закрыть ее от индексации, но сами новости, чтоб индексировались.
в свое время один трейдер сказал мне интересную вещь - не водись за народом, когда все продают ты покупай, когда покупают продавай.
Я его спросил - а что если идет девальвация, а я буду по вашей логике должен буду продавать валюту, хотя нужно ее покупать.
На что был ответ - а на что мозги тебе даны.
Из сего я сделал вывод, нужно чуйку иметь господа на такие вещи.
а как узнать что за бот ходит...ну вернее бот это или человек настроил какую то прогу...
Вот скажем совсем недавно
Referred by:
User Agent: python-requests/2.12.4
начал лопатить страницы
/docs/
/upload/
/download/
и так далее. Понятное дело таких страниц в целях безопасности нет.
спорный вопрос жив или нет, но в любом случае, почему не прописать его. Прописываю через запятую с одним вхождением.
SeVlad, так неспроста же приходят эти непонятные запросы. просто так никто обращаться не будет. ну ошибся бот раз, второй ,но этот юзер постоянно гоняет....вот в чем незадача.
Получается что просто title и description заполняем ключевиками и вперёд.
Думаю действительное на сегодняшний день мощностей для этой фишки будет недостаточно.
Но развитие нейронных сетей интересная идея. Наш ждёт генезис.
Взлетел траф мобильный с гугла, в остальном все по старому.
Статистика яндекса, количество страниц исключенных страниц пошло резко вниз, после того, как заблокировал бота majestic.
работает. если смотреть в разрезе регионов. так и разбили сайт, сложностей нет. яшка адекватно реагирует.
в последнее время оч много гс сайтов в сети. да и сеть уже в гс превращается.тяжело все это будет.
я думаю оптимально будет попытаться найти себя в какой то сфере онлайна, скажем то же сео или дизайн.