Как поисковики палят продажные сайты, что с этим делать и как не попасть под фильтры?

Полностью согласен c Вами, Борис, но откуда поисковику знать про второй урл?

он либо может добавить параметр, который приведет к тому, что страница будет вообще другая, и ссылки пропадут, либо вызовет известный урл, переставив параметры или попытавшись обмануть таким образом:

http://top.klevyi.ru/index.php?a=display&a=1 - в этом случае апач возмет первый параметр а веналити нейм урл - целиком, потому что параметр "a" допустим по конфигурации

Ок. Вы действительно полагаете, что поисковики проверяют продажность ссылок "добавлением смайликов" после знака вопроса?..

Более того. Даже если есть желание проверить таким образом наличие продажных ссылок, добавлять любой параметр глупо. Надо добавлять те параметры, которые используются на сайте (что было сделано в примере, где ссылка пропала), либо просто поменять их местами.

Вот Вы говорите, что на http://top.klevyi.ru/index.php?a=display&a=1 - ссылка осталась. Да. А теперь поменяйте параметры местами - http://top.klevyi.ru/index.php?a=1&a=display - ссылка снова исчезла.

Вобщем, идите, дорабатывайте свои алгоритмы... А еще лучше попробуйте найти другое приемущество для своей биржи, ибо не так продажность ссылок определяют.

Для чистоты эксперимента я изменил страницу по умолчанию на a=join. Но вообще спасибо за то, что указали неточность в изначальных условиях - для того чтобы внести ясность "страница по-умолчанию" теперь не равна странице листинга.

Ну а Вы смотрели ЛОГи ? Ходит бот по таким ссылкам для вычисления ? Я что-то такого не видел. Да и могу себе представить, сколько нужно манипуляций для определения такого.

Не проще пойти от банального ?

На блоге Дениса Иванова http://ivanov.in, есть мысли об этом.

Что все в принципе очень банально. Новая ссылка может появиться на новой странице.

ТС, первый пост очень красноречив... только это всё ерунда. Достаточно лишь открыть логи апача и посмотреть. Никто из ПС не добавляет несуществующие параметры, чтобы искать "продажные" ссылки. Тогда к чему все эти телодвижения? Вот как начнут ПС искать ссылки этим способом (в чем очень сильно сомневаюсь), так и можно говорить о способах защиты.

Это конечно хорошо, что у вашей биржи есть собственная "фича", то, чего нет у других. Но все-таки лучше, если это будет что-то востребованное и нужное, а не защита "не пойми от кого и от чего". ;)

Общая проблема не в автоматизации установки ссылок.

Разве плохо если на моем сайте про яблоки автоматически появилась ссылка на кулинарный сайт в разел яблочное варенье А вот если на сайте про яблоки автоматически появилась ссылка на сайт по ноутбукам тут нужно задать самому себе вопрос а зачем она там стоит?

И не нужно скрывать "автомат" нужно ставить разумное количество тематических ссылок.

Как просто сравнить текст анкора ссылки с тектом документа по базе словарей и определить её естественность или неестественность.

Например Яндекс директ определяет тематику документа на основании чего скрипт показываект тематическую рекламу. Может и в поиске существует данная фильтрация?

Представьте себе комментирование записей. или переводы программы на разные языки. Ссылки на новые языковые файлы появляются на той же странице, как и новые ссылки в комментариях по теме.

PS: за ссылку спасибо, обязательно ознакомлюсь.

Дважды бред, а посему - неудачный пиар, да еще не в том разделе.

По-моему уже всем давно известны две вещи, раз - не будут поисковики палить "продажность" таким способом, и два - проблема с отбрасыванием параметров после "?" решается использованием чпу + несложного кода. Я, например, на нескольких десятках своих сайтов везде это использую и нигде мои sape ссылки "отодрать" таким способом не получится.

Со стороны поисковиков попытка спамить сайты левыми get запросами можно квалифицировать, как попытку хака сайта. Для серьёзных организаций, такой метод определения продажности просто недопустим, и такие попытки определения не останутся незамеченными. Если бы такое практиковалось, то вебмастера на второй день бы уже сделали противоядие. ТС пытается заработать на кусок хлеба, и я не сомневаюсь, что кто то на это купится. Одной этой идеи для продвижения своей биржы - явно недостаточно. Сейчас чтобы конкурировать с САПОЙ "просто идей" маловато. Нужны килобаксы и килобаксы.

бред конечно про определение продажности этим методом

во сколько же должны быть увеличены технические ресурсы поисковика, если нужно обойти теперь все сайта по два раза (с ?= и без), а потом сравнить результаты

траффик в два раза и мощности раза в 3

цель того не стоит