_Игорь, сайт/2014/11/22 это страница просто новостная, ну то есть там описаны 10-15 новостей с заголовком. Хотелось бы закрыть ее от индексации, но сами новости, чтоб индексировались.
в свое время один трейдер сказал мне интересную вещь - не водись за народом, когда все продают ты покупай, когда покупают продавай.
Я его спросил - а что если идет девальвация, а я буду по вашей логике должен буду продавать валюту, хотя нужно ее покупать.
На что был ответ - а на что мозги тебе даны.
Из сего я сделал вывод, нужно чуйку иметь господа на такие вещи.
а как узнать что за бот ходит...ну вернее бот это или человек настроил какую то прогу...
Вот скажем совсем недавно
Referred by:
User Agent: python-requests/2.12.4
начал лопатить страницы
/docs/
/upload/
/download/
и так далее. Понятное дело таких страниц в целях безопасности нет.
спорный вопрос жив или нет, но в любом случае, почему не прописать его. Прописываю через запятую с одним вхождением.
SeVlad, так неспроста же приходят эти непонятные запросы. просто так никто обращаться не будет. ну ошибся бот раз, второй ,но этот юзер постоянно гоняет....вот в чем незадача.
Получается что просто title и description заполняем ключевиками и вперёд.
Думаю действительное на сегодняшний день мощностей для этой фишки будет недостаточно.
Но развитие нейронных сетей интересная идея. Наш ждёт генезис.
Взлетел траф мобильный с гугла, в остальном все по старому.
Статистика яндекса, количество страниц исключенных страниц пошло резко вниз, после того, как заблокировал бота majestic.
работает. если смотреть в разрезе регионов. так и разбили сайт, сложностей нет. яшка адекватно реагирует.
в последнее время оч много гс сайтов в сети. да и сеть уже в гс превращается.тяжело все это будет.
я думаю оптимально будет попытаться найти себя в какой то сфере онлайна, скажем то же сео или дизайн.
