Никак не могу с вами согласиться. У меня систематически, по нескольку раз в неделю, при первой проверке ботом, улетают в ошибки практически все страницы одного из сайтов (рандомно). Все ошибки всегда однотипные - статус отличный от 200. Косяк можно искать где угодно, только не на стороне моего сервера. Довольно сильный дедик, с широким выделенным каналом, ежеминутно пингуется сервисом ping-admin.ru по типу http (get). Если бы он не получил содержимое, то его бот сразу же позвонил бы мне на 2 номера телефона. Звонков таких уже почти год не получал. Рассмотрим логи ошибок. Все эти ошибки бот сапы получает в течении 2-3 минут, при этом пытается скачать по 4-6 страниц в секунду.
broken, линксдб нужно удалять когда ссылка отваливается, а не когда страница не отдаётся. Разные ситуации.
Уже дали пример.
Вот ещё, для коллекции:
deny from 210.211.124.99
http://tools.dynamicdrive.com/userban/
Похожая тема /ru/forum/826105
Кстати, клона нет в индексе https://www.google.ru/search?q=site:vseoremonte552.iclonename.ru
А вообще, размахнулись не плохо https://www.google.ru/search?q=site:iclonename.ru
О, под Бинг площадок сразу прибавилось! :)
Один мой, забаненный в гугле, англ сайтик не плохо чувствует себя в бинге. Так как трафа там слёзы, подкупаю в сапе ссылочки для бинга в пределах рубля, не дороже, иначе не целесообразно. Сегодня начал делать очередную закупку, возросшее обилие дешёвых площадок аж глаз радует. :)
Ну как же ноль? Хочет человек скачать киношку или рингтончик бесплатно. Садишь его на подписку, "условно бесплатную". Потом он удивляется, почему с карты или баланса деньги списываются. Да и тот же адсенс можно ставить, хоть это и не лучший вариант.
Смотря как монетизировать запрос, такой и толк с него будет. Много различных схем есть с такими бесплатными скачиваниями.
Тоже клоакингом? :)
Во первых, можно отдавать боту 503 ошибку.
Во вторых, гугл даже за явный клоакинг далеко не всегда банит/фильтрует.
На гугловском форуме была тема о сайте, который боту отдавал страницы, где во всех тайтлах прописано слово БЕСПЛАТНО. Юзер не видел этого слова ни на одной странице. Благодаря такому клоакингу количество посетителей на сайте было в разы больше. Так вот, ответил там сотрудник гугла, что вы можете пожаловаться на этот сайт тикетом. ТС написал, что жаловался, и не раз. Сотрудник гугла больше ни чего не ответил. Я сохранил адрес того сайта, чтоб посмотреть чем это кончится. Ничем. Ещё пол года сайт тот был в топе по высокочастотнику со словом БЕСПЛАТНО.
