Определение ссылок с бирж

john2007
На сайте с 26.03.2007
Offline
173
1185

В продолжение темы /ru/forum/178652

Проверил сегодня ссылки с сапы. Проблема осталась без решения со стороны биржи. Т.е. добавляешь хотя бы "?" в урл и приплыли - ссылок с сапы нет.

Есть предложение по закрытию этой дыры.

Хочется послушать-обсудить, на сколько мое предложение целесообразное, и привлечь внимание руководства биржи, потому как это серьезная дыра. Я понимаю, что все варианты мой метод не предусмотрит, например случай размещения нескольких бирж или отображение на сайте текущего времени, например. Но думаю, что 80-90% случаев решение закроет. Так же я понимаю, что данный метод создаст доп нагрузку на оборудование биржи. Но так уж это не реально?

Положительным моментом данного метода также является не создавание сквозняков и полная независимость от вебмастера. Также автоматом решается проблема дублей.

Суть метода в следующем.

При загрузке страницы задача скрипта сапы отобразить ссылки, необходимые к размещению на данной странице.

При загрузке страницы, содержащей скрипт сапы, но неизвестной базе сапы (например, добавили к главной ? или ?а=в и т.д.) сервер сапы получив урл страницы, скачивает ее с сервера вебмастера, считает, например контрольную сумму (хэш) HTML кода и сравнивает со всеми хэшами страниц со ссылками для данной площадки из своей базы (заранее расчитанными). При обнаружении совпадения выдает ссылки. При отсутствии совпадений ссылки не отображает.

По поводу серьезности проблемы - тема этой дыры была поднята 05.11.2007. Может совпадение, но по своим проектам заметил, что с января-февраля 2008 ссылки с сапы стали работать менее эффективно в разы.

P.S. По поводу доп. трафик-нагрузки на сапу. Мягко говоря она сильно возрастет :)

Но есть варианты, использовать в качестве хэша, например, размер страницы из возвращаемого HTTP заголовка. Не 100% идентификация, но все же для большинства случаев подойдет.

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)
B4
На сайте с 25.04.2007
Offline
34
#1

to john2007

html контент почти любой страницы меняется постоянно. Даже на самом простом сайте есть например облако тегов (довольно популярная штука). Я только представил, весь процесс что Вы описали. Не очень хорошо выходит. В этом случае о каком либо кешировании на стророне клиента не может быть и речи. Биржа думаю и так качает кучу страниц постоянно (индексация, проверки и тд), сапа (к примеру) и так постоянно висит.

Проще смотреть по списку всех страниц (url страниц)... ну и далее по смыслу.

Собираю смешные фразы
MuXo
На сайте с 14.04.2008
Offline
18
#2

Тысячу раз уже обсуждалось... :)

Тут и без лишних скачиваний проще-простого сделать защиту от подобного рода URL-вставок.

Только поисковики особо не палят таким образом ссылки. По крайней мере пока... 🚬

Биржа ссылок, статей, контекстных ссылок. Бесплатное определение позиций сайтов в поисковиках. (http://www.setlinks.ru) Представитель системы SetLinks.ru (http://www.setlinks.ru).
john2007
На сайте с 26.03.2007
Offline
173
#3
bobahbi4:
to john2007
кешировании на стророне клиента не может быть и речи.

Не очень понял, но по-моему, я не о кешировании на стороне клиента.

bobahbi4:
to john2007
html контент почти любой страницы меняется постоянно.

Не очень согласен про почти любой. Я бы сказал, 90% страниц в сапе меняются не чаще раза в месяц, а то и реже.

bobahbi4:

Биржа думаю и так качает кучу страниц постоянно (индексация, проверки и тд), сапа (к примеру) и так постоянно висит.

Можно хотябы раз в день пересчитывать хэш для страниц - этого достаточно для подавляющего большинства случаев. Кроме того, если они и так качаются ежедневно, то доп нагрузки не будет. Можно, как я уже говорил, даже не считать какой-то хэш, а брать размер страницы.

И кстати, причем тут висящая сапа (клиентская часть) и нагрузка по алгоритмам функционирования?

bobahbi4:

Проще смотреть по списку всех страниц (url страниц)... ну и далее по смыслу.

Не очень понял, можно расшифровать?

MuXo:
Тысячу раз уже обсуждалось... :)
Тут и без лишних скачиваний проще-простого сделать защиту от подобного рода URL-вставок.

Интересно, если столько раз обсуждалось, почему на сапе не сделелали?

И напишите, пожалуйста, какой подход проще и не менее эффективный, чем у меня? Или ссылку дайте, где описан.

MuXo:

Только поисковики особо не палят таким образом ссылки. По крайней мере пока... 🚬

Откуда такая уверенность?

Я не утверждаю, что на основании только этого фактора Яндекс, например, делает вывод о трастовасти донора, но думаю, что как один из факторов, вносящий не маловажный вклад, вполне.

MuXo
На сайте с 14.04.2008
Offline
18
#4
john2007:
Интересно, если столько раз обсуждалось, почему на сапе не сделелали?

Вопрос не ко мне.

И напишите, пожалуйста, какой подход проще и не менее эффективный, чем у меня? Или ссылку дайте, где описан.

Смысл метода в том, что при индексации сайта собираются все возможные параметры в урле, заносятся в БД и кроме них ничего не берется из УРЛа. Так же надо учесть смену параметров местами..

Вот расписывал более полугода назад тут

john2007:
Откуда такая уверенность?
Я не утверждаю, что на основании только этого фактора Яндекс, например, делает вывод о трастовасти донора, но думаю, что как один из факторов, вносящий не маловажный вклад, вполне.

Да потому, что по апачевским логам поисковиков давно бы "пропалили"...

Евген
На сайте с 28.02.2004
Offline
1051
#5

это паранойя.

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
john2007
На сайте с 26.03.2007
Offline
173
#6
MuXo:

Смысл метода в том, что при индексации сайта собираются все возможные параметры в урле, заносятся в БД и кроме них ничего не берется из УРЛа. Так же надо учесть смену параметров местами..
Вот расписывал более полугода назад тут

По параметрам это первое, что пришло мне в голову. Но я в этом методе кое чего не додумал сразу, и мне он показался не эффективным.

Теперь я вижу, что он не многим хуже моего метода. Но все равно, мой метод мне кажется более системным, что ли.

Т.е. его суть - один и тот же HTML код должен отображать одни и те же ссылки.

MuXo:

Да потому, что по апачевским логам поисковиков давно бы "пропалили"...

А прокси, например? И не обязательно все страницы перебирать, так, главную и одну-две внутренних на выбор, и не более одной за один раз - никто и не заметит...

Евген:
это паранойя.

А непот, а траст, а вообще, борьба Яндекса с покупными - тоже пароноя? :)

Евген
На сайте с 28.02.2004
Offline
1051
#7
john2007:
А непот, а траст, а вообще, борьба Яндекса с покупными - тоже пароноя?

непонятно только как непот и траст с покупными соотносятся?

john2007
На сайте с 26.03.2007
Offline
173
#8
Евген:
непонятно только как непот и траст с покупными соотносятся?

На сколько я понимаю - непот это был фильтр (или сильно понижающий или отключающий исходящее ссылочное) на площадки, в том числе по причине того, что на площадке продавались ссылки.

ИМХО, траст донора в Яндексе - это более системный чем непот коэффициент, влияющий на передачу ссылочного с донора, опять таки учитывающий в том числе фактор продажности ссылок на доноре.

[Удален]
#9

john2007

В сапе есть очень много необходимых несделанных или недоделанных вещей, которые по некоторым мнениям призваны отсечь так называемых школьников.

Защиту от определения ссылок с бирж вы можете сделать себе сами. Например, для WP плагин iSape это производит (при добавлении ? в урл проданные ссылки отображаются).

fireone
На сайте с 07.07.2006
Offline
127
#10

antivir,

Предлагаете оптимизаторам рекламировать плагин среди вебмастеров? ;)

Нужны люди: пом-ик оптимизатора () и оптимизатор () Вливайтесь в сильнейшую команду страны ;) 89057335033, Александр Шокуров;

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий