HaXuM: datot, я смотрел как отвечает ваш сайт в нашу подсеть - не отдает контент. Почему это происходит на одном сайте или на одном хостинге или еще на чем-нить одном я не знаю, но к сапе это не относится, потому как если у нас проблемы, то все ваши ссылки рухнут и будут в статусе ERROR, как и у всех других. До того момента пока это не произошло - проблема на стороне сайта. Вторая причина - после очередной перепроверке все находится, а так как перепроверки не отличаются ничем, кроме времени запуска - значит косяк действительно на конкретном сайте, а не у нас.
Никак не могу с вами согласиться. У меня систематически, по нескольку раз в неделю, при первой проверке ботом, улетают в ошибки практически все страницы одного из сайтов (рандомно). Все ошибки всегда однотипные - статус отличный от 200. Косяк можно искать где угодно, только не на стороне моего сервера. Довольно сильный дедик, с широким выделенным каналом, ежеминутно пингуется сервисом ping-admin.ru по типу http (get). Если бы он не получил содержимое, то его бот сразу же позвонил бы мне на 2 номера телефона. Звонков таких уже почти год не получал. Рассмотрим логи ошибок. Все эти ошибки бот сапы получает в течении 2-3 минут, при этом пытается скачать по 4-6 страниц в секунду.
broken, линксдб нужно удалять когда ссылка отваливается, а не когда страница не отдаётся. Разные ситуации.
Один мой, забаненный в гугле, англ сайтик не плохо чувствует себя в бинге. Так как трафа там слёзы, подкупаю в сапе ссылочки для бинга в пределах рубля, не дороже, иначе не целесообразно. Сегодня начал делать очередную закупку, возросшее обилие дешёвых площадок аж глаз радует. :)
XPraptor: Смысла - ноль целых ноль десятых - запрос фантом, наверное все уже знают об этом :) Я через 7 месяцев бросил удержание - два года держалось само по инерции :)
Ну как же ноль? Хочет человек скачать киношку или рингтончик бесплатно. Садишь его на подписку, "условно бесплатную". Потом он удивляется, почему с карты или баланса деньги списываются. Да и тот же адсенс можно ставить, хоть это и не лучший вариант.
Смотря как монетизировать запрос, такой и толк с него будет. Много различных схем есть с такими бесплатными скачиваниями.
если вы будите пытаться отделять роботов от посетителей - бан по стуку гарантирован :)
Во первых, можно отдавать боту 503 ошибку.
Во вторых, гугл даже за явный клоакинг далеко не всегда банит/фильтрует.
На гугловском форуме была тема о сайте, который боту отдавал страницы, где во всех тайтлах прописано слово БЕСПЛАТНО. Юзер не видел этого слова ни на одной странице. Благодаря такому клоакингу количество посетителей на сайте было в разы больше. Так вот, ответил там сотрудник гугла, что вы можете пожаловаться на этот сайт тикетом. ТС написал, что жаловался, и не раз. Сотрудник гугла больше ни чего не ответил. Я сохранил адрес того сайта, чтоб посмотреть чем это кончится. Ничем. Ещё пол года сайт тот был в топе по высокочастотнику со словом БЕСПЛАТНО.
datot, я смотрел как отвечает ваш сайт в нашу подсеть - не отдает контент. Почему это происходит на одном сайте или на одном хостинге или еще на чем-нить одном я не знаю, но к сапе это не относится, потому как если у нас проблемы, то все ваши ссылки рухнут и будут в статусе ERROR, как и у всех других. До того момента пока это не произошло - проблема на стороне сайта. Вторая причина - после очередной перепроверке все находится, а так как перепроверки не отличаются ничем, кроме времени запуска - значит косяк действительно на конкретном сайте, а не у нас.
Никак не могу с вами согласиться. У меня систематически, по нескольку раз в неделю, при первой проверке ботом, улетают в ошибки практически все страницы одного из сайтов (рандомно). Все ошибки всегда однотипные - статус отличный от 200. Косяк можно искать где угодно, только не на стороне моего сервера. Довольно сильный дедик, с широким выделенным каналом, ежеминутно пингуется сервисом ping-admin.ru по типу http (get). Если бы он не получил содержимое, то его бот сразу же позвонил бы мне на 2 номера телефона. Звонков таких уже почти год не получал. Рассмотрим логи ошибок. Все эти ошибки бот сапы получает в течении 2-3 минут, при этом пытается скачать по 4-6 страниц в секунду.
broken, линксдб нужно удалять когда ссылка отваливается, а не когда страница не отдаётся. Разные ситуации.
пример сейчас дать не смогу...
Уже дали пример.
Я подобные прокси нахожу постоянно, вычисляем IP, блочим на всех сайтах, над которыми работаю, их все сразу. Вот и этот добавлю.
Вот ещё, для коллекции:
deny from 210.211.124.99
Согласен вижу, что ни я один такой помогите, пожалуйста, заблокировать IP на своем сервере ни разу, не встречался с этим. Как это сделать?
http://tools.dynamicdrive.com/userban/
Похожая тема /ru/forum/826105
Кстати, клона нет в индексе https://www.google.ru/search?q=site:vseoremonte552.iclonename.ru
А вообще, размахнулись не плохо https://www.google.ru/search?q=site:iclonename.ru
О, под Бинг площадок сразу прибавилось! :)
Один мой, забаненный в гугле, англ сайтик не плохо чувствует себя в бинге. Так как трафа там слёзы, подкупаю в сапе ссылочки для бинга в пределах рубля, не дороже, иначе не целесообразно. Сегодня начал делать очередную закупку, возросшее обилие дешёвых площадок аж глаз радует. :)
Смысла - ноль целых ноль десятых - запрос фантом, наверное все уже знают об этом :) Я через 7 месяцев бросил удержание - два года держалось само по инерции :)
Ну как же ноль? Хочет человек скачать киношку или рингтончик бесплатно. Садишь его на подписку, "условно бесплатную". Потом он удивляется, почему с карты или баланса деньги списываются. Да и тот же адсенс можно ставить, хоть это и не лучший вариант.
Смотря как монетизировать запрос, такой и толк с него будет. Много различных схем есть с такими бесплатными скачиваниями.
Sower, я три года держал топ 2-3-4 по "скачать бесплатно" в гугле - как думаете, оно того стоит? :)
Тоже клоакингом? :)
если вы будите пытаться отделять роботов от посетителей - бан по стуку гарантирован :)
Во первых, можно отдавать боту 503 ошибку.
Во вторых, гугл даже за явный клоакинг далеко не всегда банит/фильтрует.
На гугловском форуме была тема о сайте, который боту отдавал страницы, где во всех тайтлах прописано слово БЕСПЛАТНО. Юзер не видел этого слова ни на одной странице. Благодаря такому клоакингу количество посетителей на сайте было в разы больше. Так вот, ответил там сотрудник гугла, что вы можете пожаловаться на этот сайт тикетом. ТС написал, что жаловался, и не раз. Сотрудник гугла больше ни чего не ответил. Я сохранил адрес того сайта, чтоб посмотреть чем это кончится. Ничем. Ещё пол года сайт тот был в топе по высокочастотнику со словом БЕСПЛАТНО.