XAP: Как быстро поднять тысячи низко- и среднечастотников в Яндексе, Гугле, Рамблере?

На сайте с 18.10.2006
Offline
12
#271

Кто-нибудь размещал много ссылок (> 1000)? Как потом фильтровали?

По своему добавленному сайту могу сказать, что это не "умники", это робот системы нашел страницы, которых нет в путях на сайте, в общем нет нигде, и где он взял такие пути неясно, например параметром в GET идет имя картинки, или добавлен каталог, которого вообще нет на сайте, но который когда-то знал яндекс и он сохранился в бэках Яши

О, интересно. Это меняет дело =)

Просим озвучить способ получения списка страниц сайта!

albion
На сайте с 07.10.2005
Offline
247
#272
slavy:
По своему добавленному сайту могу сказать, что это не "умники", это робот системы нашел страницы, которых нет в путях на сайте, в общем нет нигде, и где он взял такие пути неясно, например параметром в GET идет имя картинки, или добавлен каталог, которого вообще нет на сайте, но который когда-то знал яндекс и он сохранился в бэках Яши

У моего сайта система каким то образом обнаружила в каждой папке по favicon.ico, на эти файлы у меня вообще нигде ссылок нет, кроме как

<LINK REL="Shortcut Icon" HREF="favicon.ico">
. Возможно конечно я здесь не правильно код написал, но система не должна проставлять ссылки на favicon.ico.

Вот и приходится каждую ссылочку снимать. 😒

Да и мои ссылки постоянно на всяких там гифах и жпегах проставлены. 😒

А так же система проставлеяет ссылки на страницах www.sait.ru/папка/ и www.sait.ru/папка одновременно разные коды. Хотя по идеи эти страницы идентичны. ☝

Zonk
На сайте с 19.05.2006
Offline
321
#273
slavy:
По своему добавленному сайту могу сказать, что это не "умники", это робот системы нашел страницы, которых нет в путях на сайте, в общем нет нигде, и где он взял такие пути неясно, например параметром в GET идет имя картинки, или добавлен каталог, которого вообще нет на сайте, но который когда-то знал яндекс и он сохранился в бэках Яши

Система размещает ссылки там, куда ходят пользователи или роботы (в данном случае, робот Яндекса вероятно решил посетить ваш каталог, информация о котором у него была в бэках), кроме запрещенных страниц (сейчас готовим список запрещенных url, где не нужно размещать ссылки, туда войдут сессии, админ-области, .ico, .gif и т.д. - присылайте все такие части url к нам на почту и мы заблокируем там размещение ссылок).

Был вариант направлять на сайт своего робота сразу после добавления сайта, но этот вариант очень негибкий. (т.к. сайты постоянно меняются, а поисковые роботы ходят совсем по другому маршруту - они ходят часто с внешних ссылок на внутренние страницы сайта, а также, сразу на внутренние страницы, имеющиеся в их базе, как, вероятно, случилось в данном случае).

На сайте с 18.10.2006
Offline
12
#274
albion:
А так же система проставлеяет ссылки на страницах www.sait.ru/папка/ и www.sait.ru/папка одновременно разные коды. Хотя по идеи эти страницы идентичны.

Ага, поэтому будет проиндексирована одна ссылка, если нет обоих вариантов ссылок на эту страницу. А открыть ее можно, при этом бабло спишется.

albion
На сайте с 07.10.2005
Offline
247
#275
NA Кролик-Зануда:
Ага, поэтому будет проиндексирована одна ссылка, если нет обоих вариантов ссылок на эту страницу. А открыть ее можно, при этом бабло спишется.

Абсолютно точно за исключением одного - неважно будут ли ссылки на оба варианта или на один, все равно Яндекс эти страницы зазеркалит, если конечно там не разный контент. 🚬

На сайте с 18.10.2006
Offline
12
#276
Zonk:
Был вариант направлять на сайт своего робота сразу после добавления сайта, но этот вариант очень негибкий. (т.к. сайты постоянно меняются, а поисковые роботы ходят совсем по другому маршруту - они ходят часто с внешних ссылок на внутренние страницы сайта).

Какие методы защиты от такой схемы?

На сайте используется мод_рерайт. Правила там не строгие. Например, 1.html и 1-1.html ведет на одну и ту же страницу сайта. Причем ссылок, по которым на страницу 1-1.html мог бы зайти робот и обычный пользователь, нет. Но я как вебмастер могу на нее зайти. Ссылка установится, добавится кому-то из рекламодателей, с него спишется опред. сумма. Но толку от нее ему не будет.

На сайте с 18.10.2006
Offline
12
#277
albion:
Абсолютно точно за исключением одного - неважно будут ли ссылки на оба варианта или на один, все равно Яндекс эти страницы зазеркалит, если конечно там не разный контент.

Точно! =) Но тут ее хоть можно увидеть (теоретически) пользователю. А т.к. "ссылки размещаются в заметных местах страницы" ;) , то хоть какая-то польза (на правах шутки). А вот вариант выше...

Zonk
На сайте с 19.05.2006
Offline
321
#278
NA Кролик-Зануда:
Какие методы защиты от такой схемы?
Например, 1.html и 1-1.html ведет на одну и ту же страницу сайта. Но я как вебмастер могу на нее зайти.

Здесь уже говорилось об этой проблеме, она относится только к PR 0, но сейчас уже веб-мастеру нет смысла это делать, т.к. рекламодатели внесут его сайт в "черный список" (уже доступна такая функция) и ссылок на его сайте не будет размещаться вообще. Кстати, какой-то сайт окажется у многих в "черном списке", то будет посылаться сигнал модератору ;)

юни
На сайте с 01.11.2005
Online
902
#279

Zonk, что-то я не нашёл, как отключить показ заглушек для уже добавленного сайта?

И ещё - хорошо бы ввести сортировку, по дате, по признакам (удалена ссылка, удален сайт) и т.п.

https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS, https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
albion
На сайте с 07.10.2005
Offline
247
#280
юни:
Zonk, что-то я не нашёл, как отключить показ заглушек для уже добавленного сайта?

И ещё - хорошо бы ввести сортировку, по дате, по признакам (удалена ссылка, удален сайт) и т.п.

А вы пробовали код сменить?

http://www.xap.ru/reguser.php?mod=wcode


Если Вы не хотите, чтобы на Вашем сайте на месте свободных мест показывались заглушки системы, то разместите на ваших страницах вместо варианта 1 следующий код:

1б "без заглушек":

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий