Форум Практика оптимизации Doorways & Cloaking

Самые опасные говноботы в ру-адалте

12
s91
На сайте с 13.04.2009
Offline
88
s91
2253

Пишем здесь, кто каких ГБ встречал. Жрут траф, а толку 0

Вот мой список:

Twiceler-0.9

Yahoo! Slurp/3.0

YandexSomething/1.0

Не бывает белой и черной оптимизации. Бывает только обман и разные способы его реализации
mr. Evil
На сайте с 07.12.2007
Offline
77
mr. Evil
#1

насчет YandexSomething/1.0 вы уверены?

s91
На сайте с 13.04.2009
Offline
88
s91
#2

YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей

Ни одна страница просмотренная данным роботом в индекс не попала => Вывод - говнобот

mr. Evil, если ошибаюсь, поправьте

K
На сайте с 07.03.2007
Offline
143
Koag
#3
Пишем здесь, кто каких ГБ встречал. Жрут траф, а толку 0

Вот мой список:
Twiceler-0.9
Yahoo! Slurp/3.0
YandexSomething/1.0

Посмею процитировать дворовых парней: "И чё?"

:)

s91
На сайте с 13.04.2009
Offline
88
s91
#4
Посмею процитировать дворовых парней: "И чё?"

Какие роботы мешают другим. Интересно узнать. И какие ПС настолько тупы, что индексируют то что не положено.

Если например MSN загружает 1 страницу с дора и успокаивается, Yahoo по десятку страниц с дора сжирает.

То Twiceler - это что-то. 80% всего трафа сжирает именно он. Траф безлимитный. Но всё равно неприятно. А писать запреты в robots.txt лень и пока нет необходимости

[Удален]
#5
Koag:
Посмею процитировать дворовых парней: "И чё?"
:)

наверное чтоб запретить доступ :)

последний дор засканил Google Adsense Agent String: Mediapartners-Google/2.1

пришлось блокировать через .htaccess

GreenGO
На сайте с 26.06.2008
Offline
70
GreenGO
#6

У меня вполне успешно попадали в индекс страницы которые YandexSomething/1.0 скушал, так что лучше его из списка на закрытие вычеркнуть. Вот Twiceler-0.9 действительно надоедает.

AX
На сайте с 20.09.2008
Offline
133
ApocX
#7

Оппа, а накидайте писюлек как заблокировать всю эту шнягу от индексации?!

[Удален]
#8
ApocX:
Оппа, а накидайте писюлек как заблокировать всю эту шнягу от индексации?!

Список? :p

.htaccess

php

;)

.:nbd:.
На сайте с 04.11.2008
Offline
98
.:nbd:.
#9
ApocX:
Оппа, а накидайте писюлек как заблокировать всю эту шнягу от индексации?!

Например через htaccess 

RewriteEngine on



RewriteCond %{HTTP_USER_AGENT} ^Yahoo.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Twiceler.*



RewriteRule .* http://google.com [R=301]

Ну и далее по списку

Палю тему Дорген (/ru/forum/439165) + кеи + контент (http://datarama.biz/) + еще немного кеев и скриптов (http://amazingsoftware.ru/) = $$$ Мы делаем доры, а не пишем романы (c) один Дима рефка dino_spomoni (http://goo.gl/w62v3)
[Удален]
#10

YandexSomething/1.0 напоминает Steven King's "It". Не пойму почему почему новостной бот такой недобрый?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий