В роботс можно добавить. Многих отшивает.
Спасибо большое! Вот такое я и искал.
Краулеры и параметры одни из самых мирных по сравнению с ботами кликающими по рекламе и нагуливающими профиля. Вы не с теми ботами боритесь на своих сайтах
Мне хватило битерику забанить, пока там больше не с чем бороться. Но я не хочу чтобы мой сайт парсили под доры и обсасывали всякие кейсо и мегаиндексы.
Здесь просто мирно конфликтуют 2 вектора
1 - блочить ботные сетки напрямую
2 - подключать всякую стороннюю мутату
Выбирайте, с кем вам по пути и фпирёт, к успехам
Сначала поставил клауд и вроде всё ок, но потом меня начало напрягать каптча там где она не нужна, файлы с браузера добавить нельзя больше 100 метров, в рекламные сетки нормально не добавиться ещё и кэш говняный, я обновляю файлы а он по два дня отдает старые версии посетителям.
Потом заблочил только одну ссаную битерику через хттаксес и роботность на уровне 5-8%, что вполне приемлимо.
Но подумал тут ещё, что когда дорами баловался, то использовал а-парсер и теперь захотелось ещё всякую дичь типа парсеров забанить, по поиск по гуглу ничего не выдал. Вот и решил здесь спросить актуальный список может у кого есть?
Да уже 30 страниц пролистал, немного утомился. Боюсь ещё 40 страниц срача о том кто лучший сеошник не осилю
Так и есть по сути. Я добавил конкурентный сайтв вебмастере и наблюдаю как икс на моем сайте стабильно растет на +10 а на конкурентном падает на - 10. И так как я его постоянно мониторю, то вижу что там очень-очень редко что-то обновляется. По сути этот сайт был лидером по запросу одной игры. Но на моем сайте при 160 записях больше 700 комментариев и обновляется много чего постоянно.
Да откуда мы знаем?)) Попробуйте, сами все поймете. Как я говорил выше, лучше у прогера разово доработку заказать - дешевле и надежнее.
Никто вам не скажет, какой шаг 100% увеличит доходы по вашему сайту, а какой - нет. Ну, детский сад, ей-богу.
Я потому и справшиваю, потому что тестировал его только месяц на 50 статьях. Это не дало особого результата не говоря уже о профите. Меня интересуют данные на длинной дистанции - такие как ранжирование и доход от рекламы. При чем тут детский сад? Если у кого-то он стоит год или больше и это имеет хотя бы окупаемость, то я буду им пользоваться а если профита никакого то смысл платить 20 долларов в месяц. Меня даже больше интересует ранжирование таких текстов нежели доход, точнее не считают ли поисковики их дублированным контентом.
