SubAqua

SubAqua
Рейтинг
199
Регистрация
21.10.2005
Интересы
Домены и дома
Характер Нордический.
Mahrock:
А проблем с правообладателями не будет? Вопрос риторический

Ну тут и Вы можете предложить свою услугу, из подписи, "Переделка неуникального контента в уникальный путём переосмысления ценностей". :)

В продолжении Российской темы, прошел всемирный форум. Интересно что скажет мировое сообщество в отношении России.

semenov:
Странный способ экономии ресурсов
В логах видно по сколько байт со страниц забирают?

Да нет, не видно. Первый раз слышу чтобы экономил на кб. Откуда Вы это взяли?

100 килобайт всегда страница забиралась.

Хорошо, спасибо за ответы, будем написать в Яндекс. :)

Real:
SubAqua, Если на странице много текста, то может быть боты просто за один раз не читают всю страницу,а только часть. Теперь пока все не считают, не отстанут:)

На странице немного текста, в пределах 100 кб. вес всей страницы.

Первый момент понятен - время захода ботов. Остается непонятным другое - почему в базу за последние 3 недели не попало как раз то, что так активно запрашивается ботами.

Я думаю речь не столько о политическом контроле сети (хотя это в первую очередь и будет), сколько о контроле как таковом в целом. Поскольку за политикой идет крупный бизнес, и прежде всего розничные рынки, которые в России растут гигантскими темпами.

И если первый шаг о котором речь в статье будет реализован, остальное не заставит себя ждать.

Это мое мнение.

Real:
Получается боты по нескольку раз запрашивают одни и те-же страницы?
Можно сайт глянуть?

К сожалению адрес сайта дать не могу. Извините.

На сайте страниц довольно много, несколько десятков тысяч. Это прайс-листы, с детальными описаниями товаров, на страницы которых постоянно добавляются новые заметки (к конкретному товару свои), технические характеристики из паспортов-инструкций по пользованию, и т.д.

Real:
SubAqua, У вас сайт или форум?

Сайт, форума нет, обычные html-страницы, контент плюс графика.

Все один и тот же

site.ru 213.180.217.219 - - [16/Oct/2006:00:00:26 +0300] "GET /image/myics200/3.gif/mode2 HTTP/1.1" 200 182 "-" "Yandex/1.01.001 (compatible; Win16; P)"

site.ru 213.180.217.5 - - [16/Oct/2006:00:52:25 +0300] "GET /c81d/art4/ HTTP/1.1" 200 186 "-" "Yandex/1.01.001 (compatible; Win16; I)"

и html поглощает, и картинки.

Я всем ответил в личные сообщения.

NerZool:
Без обид: А модеры в отпуске? 😂

Пожалуйста, пишите сразу мне в личные сообщения, давайте соблюдать правила. На все вопросы отвечу почтой.

Спасибо.

Всего: 4423