XPraptor

XPraptor
Рейтинг
333
Регистрация
15.10.2004
Должность
Web Soft Developer
Интересы
Programming

У меня на всех сайтах куча сапа и ксапа - проиндексированы ВСЕ страницы сайта (кроме запрещенных роботом.тхт).

Боле того! - До постановки сапа - яндекс отважно не хотел индексить некоторые страницы (сайты специально разработаны в три клика от главной), после постановки сапа - проиндексил эти страницы и начал пастись на них.

А контент то одинаковый на всех сайтах? Если нет - то чего вы мутите воду, старайтесь вытеснить их. А если одинаковый - то стучите, стучите, стучите. - склеить должен яндекс их тогда.

GFF - тематичность к рекламе в ПС не имеет отношения. Тут как раз вопрос в том, что если ссылка рекламная (выкуплена напрямую, или в сапе) то она не может придавать никакого веса при ранжировании, так как является обязательной к постановке, а не волей изъявления вебмастера. А вот если ссылка размещена вебмастером, то она должна придавать вес акцептору. Об этом и рассуждения в топике - системы обмена не должны влиять на ранжирование, и будет ли яндекс бороться с ними.

А если серьезно, то 10 дней назад проводил добавление тестовое. Добавил 10 поддоменов номерных 11.domain.ru, 12.domain.ru и т. д. При чем 14 и 18 добавил корень, а остальные конкретныую страницу второго уровня от главной. На сегодня результат таков: на корневые 14 и 18 яша пришел через день - остальные пока не заходил. Вывод - теперь принимаются только корни в аддурлку, остальные игнорятся, но пишет что все ок, типа добавлен и будет обойден.

Maxi21:
Теперь она добавляет в "блек-лист" :)

Ага! :) Samail добавил яндекс - наконец то его яндекс забанит! :)

На счет бана по исходящим - не реально. Вот опознование робото-каталогов и робото-статей - более реальная мысль.

У меня ни один каталог на моих сайтах не выпал и они вообще в топ 5 в ссылающихся на других, даже выше морд (кто то может сказать - занепоченых морд, но я не признаю непот автоматический, поэтому морды смотрю сам и делаю вывод что они без фильтров).

Все каталоги на моих сайтах самописные и собираются строго с модерацией (90% отклоняется заявок). Тематика соблюдается только на нескольких сайтах, на остальных каталоги всенаправленные, но тоже никаких проблемм с ними.

Сдается мне, что если так же работать с каталогом статей на своих сайтах - то они тоже будут нормально восприниматься роботами.

В ближайшие 3 недели как раз запускаю 3 портала в кольце и заодно хочу провести эксперимент: В движке есть каталог статей, будет модерироваться, и в основном, размещатьсястатьи на бесплатной основе только по теме.

Но вот до этого, я хочу каждый день вписывать туда по 4 уникальных статьи по теме, взятые из зарубежного нета (новые, не переведенные материалы), переводить их и публиковать. Посмотрю на реакцию ПС, а дальше они пойдут уже для размещения статей, присланных пользователями.

Я часто забегаю в ксап разные операции провести, подправить что то - тормоза не всегда, но они есть и фатальные. Иногда проскакивает на ура, но чаще просто висит и нельзя работать.

И без него можно обходиться, если с умом..

Обходится то можно но сильно замедляется процесс анализа. Если только по ночам на пакетную ставить.

Что то мне подсказывает, что яндекс реагирует на 304 только на запрос HEAD а на обычный GET нет. В принципе тогда его нельзя отучить, можно попробывать если у вас php страницы и вы в заголовках отдаете дату создания/модификации автоматом - поставить статичную, может тогда он подумает подумает да изменит скорость обхода таких страниц.

А я вот на днях на всех сайтах своих убил в роботе Yahoo слурпа - тоже грузил по полной своими заходами. Теперь смотрю логи - красота, IP роботов не выскакаивают из 50-и, а с yahoo каждый день зашкаливали за 900.

Нет, прерывать не вздумайте - это будет приравнено к 404. А как игнорирует? Снова заходит на эту страницу? А период захода не удлинился? Может он постепенно начнет снижать период захода, нужно просто попасти несколько страниц с отдачей 304, а остальные пока не трогать.

Всего: 3316