mas7777

Надо признать, что прошлые победные реляции об обнаруженных "алгоритмах", оказались мягко говоря, преждевременными. Два наших эксперементальных домена отправились в бан так же как и внутренние папки на действующих сайтах. Копирайтов и стоп-слов там не было вообще - это были эксперементальные версии движка, лишённые всяких, казалось бы, намёков на каталоги.
При этом, схема всегда одна - 100% индексации в первый раз, т.е. полный проход по каталогу известным поисковиком, далее 0% индексации, т.е. бан. Таким образом, очевидно копирайт ни на что не влияет и не учитывается при определении "каталог" / "не каталог". Это было бы слишком просто :(
Каковы же критерии определения "каталог" / "не каталог" со стороны известного поисковика, который не в состоянии держать нагрузку?
Мы отследили ряд каталогов, по поводу которых к нам обращались наши клиенты за техподдержкой. У их кривых хостеров не работал mod_rewrite и им пришлось отключить поддержку статики. Все их каталоги имеют 90% индексации.
Отсюда совершенно очевидный вывод - А не слишком ли мы все увлеклись статичными страницами? А не слишком ли быстро мы бежим? (Приключения принца Флоризеля)
Все почти движкит каталогов формируют на основе модреврайта тясячи страниц в одной папке, которых реально не существует. Таким образом "супер-алгоритм" может быть сведён к очень простой операции опознания каталогов вне зависимости от разработчиков и копирайтов, по одной лишь формуле - а скока у вас страниц в одной прапке? Тысяча? Да такого быть не может на нормальном сайте! Значит каталог. Логика проста и убойна своей тупизной. Но с ней можно бороться. И легко - достаточно отключить формирование статичных страниц, как бы в это не было сложно поверить. Купите новый домен для любого движка и попрорбуйте сами... Мы уже пробовали.
С другой стороны, есть ряд движков каталогов (преимущественно буржуйских вроде Движок WSN ), которые не смотря на "алгоритмы" имеют 100% индексации даже с использованием мод_реврайта. А почему? Анализ показывает, что буржуи куда умнее того поисковика, о котором даже не слышали - под мод_реврайтом формируются страницы отнюдь не в одной папке. Каталог имеет структуру максимально приближённую к реальному сайту, т.е. много папок, а в них мало страниц.
В общем, хотите верьте, хотите проверьте, но уже готовится к выходу проект Sc@nerlink Stealth. Цель - создание индексируемого не смотря на "алгоритмы" каталога, и полный обход (без взлома) всех алгоритмов и прилад одного пока ещё известного поисковика.

Всё бы хорошо, и мы опять в дамках как всегда, но встаёт один мааааленький такой вопросик конфликта интересов. А кому всё это надо? Мы раньше часто получали вопросы "а как бы мне так сделать каталог не индексируемым и чтобы об этом ни кто не знал?". Теперь этих вопросов нет - на помощь не честным людям пришёл большой друг всех варёзов и жуликов - некий поисковик на последнюю букву алфавита. Владелец каталога теперь имеет бэки а его юзера не имеют ни чего. Правда продать рекламу на неиндексируемых страницах не всегда легко, но это уже дело десятое.

Конечно, рано или поздно, зодчие Тындекса напридумывают новых "алгоритмов". Например, будут подсчитывать не страницы в папке а всего страниц на сайте и некое магическое число при выходе за которое индексация или прекращается совсем или происходит как нить криво. Вот больше 1000 страниц у вас на сайте - добро пожаловать в бан. Маразм. А что делать? На сервера то у Яши денег нет.
В этой ситуации путь у вебмастера каталога, который хочет сохранить индексацию (например для продажи платных ссылок) это резкое уменьшение базы ссылок (много менее тысячи на один каталог) при улучшении их качества. Особенно качества бэков. Здесь надо не только ограничивать включение ссылок по формальным параметрам, но и тщательнее контролировать бэки. Особенно по индексации поисковиками. Возможно проверять по нескольким разным поисковикам. И уш точно не ставить по 10 каталогов на один сайт. Желательно резко ограничить взаиможействие с системами автодобавления, т.к. бэков большинство из них не даёт вообще ни каких.
В этой связи интересно направление по созданию общей анти-спам базы. Если вебмастер хоть раз убрал страницу с бэками или обманул хоть кого то, то добавить тот же сайт он уже не сможет ни в один из каталогов на данном движке. А может быть даже и в каталоги на других движках (в далёкой перспективе). Что приведёт к резкому снижению потока мусорного трафика и затрат мощностей на проверку всякого спама.