SEO палево №6 Страна зазеркалья

Игорь · 2009-10-17T08:35:24.0000000Z

SEO палево №6 Страна зазеркалья Цитата: «палил, палю и буду палить» Roman77 Страна зазеркалья. Пройдёмся по одной из серъёзных проблем поисковых систем: «зеркалам сайтов», данная функция лет 6 назад служила для, казалось бы хорошей цели, очистки поисковой базы от дубликатов. Много сайтов в Интернет имело (и имеет) дубликаты, например http://site.ru и http://www.site.ru/ . Естественно поисковые системы создали алгоритм для убирания из поиска дубликатов зеркала сайтов. Этот вопрос настолько серъёзен что был создан робот-зеркальщик, отдельный паук, отвечающий именно за поиск и определение дубликатов зеркал сайтов. Изначально этот процесс был полностью автоматическим, но из-за многочисленных нареканий было решено в файле robots.txt, который изначально в 1996 году был создан только для одной цели для инструктажа поисковых роботов какие страницы можно индексировать, а какие нельзя, добавить функционал ( robots.txt кстати и сейчас развивается и его уже называют не просто файлом в директории хост а уже и «стандарт robots.txt). Итак в стандарт robots.txt добавили новую директиву Host, которая позволяла вебмастеру вручную указывать пауку (почему программу-роботов называют пауками? наверное круто звучит прим. автора). И тут как говорил поручик Ржевский карта у меня так и попёрла. Вебмастера открыли в этой директиве уязвимость и не одну и не две. Итак по порядку. Уязвимость №1 «мочим конкурентов». В Интернете вовсю обсуждают как топить конкурентов, способов описываются миллионы, но действенных всего ничего. Это: а. Заражение сайта конкурента вирусом; б. Стук о том что конкурент использует поисковый спам в. «Приклеивание конкурента» Вот на третьем поподробнее: значительная часть сайтов в интернет не имеет в файле robots.txt директивы HOST, причём среди них сайты огромных компаний банков, крупных торговых компаний, государственных структур. Даже известнейший сайт студии Лебедева, рекламирующей в Интернете себя как пионера веба и команды вебмастеров съевшей тонны соли и тыщу собак, не имеет директивы HOST: http://www.artlebedev.ru/robots.txt Если у сайта нет в роботсе директивы HOST, то он становиться весьма уязвимым, конкуренты создают клона, прописывают в директиве у клона в роботсе следующее: Host: www.site-klon.ru И всё робот зеркальщик видит два одинаковых сайта, видит на одном из них директиву хост и клеит сайт без этой директивы к другому, что мы видим в результате? Полное выпадение пострадавшего из поиска, перетекание к клону всех обраток и в итоге посетителей. Причём пострадавшие узнают об этом только по факту, когда его приклеили к клону. Лечение одно срочное прописывание хоста у себя в директории и абузы хостерам и поисковым системам. Это помогает но не всегда, и бывает что вы возвращаетесь в поиск, но ниже чем до атаки клоноводов. Причём возвращение в индекс дело не одной недели, а порой нескольких месяцев. Правда обидно? Уязвимость №2 «прятки». В высоконкурентных тематиках мы всегда ощущаем дыхание конкурентов они смотрят где мы покупаем ссылки, стучат в поисковые системы и размещают ссылки там где мы нашли хорошую халяву. А почему бы нам не спрятать обратки? Итак создаём сайт копию нашего любимца, прописываем в хосте копии главный сайт и покупаем ссылки в различных сервисах (в той же сраной сапе например или на халявных ресурсах). Итог: в выдаче основной сайт растёт, тиц и пр увеличиваются а конкурент не понимает в чём дело, и пишет тупые топики в серче: «конкурент вырос в выдаче, Яша тупит и все козлы» Уязвимость №3, №4, №5 а оно мне надо? Лень писать. Вывод: я не учу как воровать чужие сайты и обманывать ПС, просто посмотрите у себя роботс и пропишите хост, пока не поздно. например вот это сайт: большой инет-магазин , выставляют счёта в он-лайне, а что если сделать клона, приклеить инет-магазин а потом подменить реквизиты в скрипте выставления счетов? Убытки будут сотни тысяч рублей.а все из-за незнания такой вещи как «страна зазеркалья», всем удачи

55

spambot

2 ноября 2009, 17:10

#81

как и в соседней темы много шума от людей уважаемых на форуме(судя по репе) и опять же бульк в воду с их стороны...

в разделе яндекс этого форума не раз был топик когда угоняли (склеиванием) сайт с не прописанным хостс(и это было не два и не год назад, а буквально еще весной этого года). випраскрутка в свое время подавал этот метод в своем платном(закрытом) разделе форума....

;)

Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. (http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags/1732454#1732454)

40

agentvini

2 ноября 2009, 17:51

#82

ТС, объясните как по Вашей логике будет перенаправлен траффик с ПС помощью Вашего "метода" 🙅

Вы от ПС получаете ссылку (URL) и далее Ваш браузер благодаря указанным в данных домена NS получает путь куда топать.

и собственно Вы попадаете на сайт...

Покажите мне место, где в этом процессе участвует роботс.тхт

Тематический обмен (/ru/forum/319815) ссылками и статьями на темы туризм, отдых, гостиницы, рестораны с сайтом ЯК, тИЦ 300, Дмоз, ПР 3

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

W1

22

wwwww1

2 ноября 2009, 18:20

#83

alarm

Кто глубже мыслит, знает, что он всегда не прав, как бы он ни поступал и ни судил.

Это Ваша мысль? если да то я преклоняюсь.Прочувствовать это дано немногим.

55

spambot

2 ноября 2009, 21:58

#84

agentvini:
ТС, объясните как по Вашей логике будет перенаправлен траффик с ПС помощью Вашего "метода" 🙅

Вы от ПС получаете ссылку (URL) и далее Ваш браузер благодаря указанным в данных домена NS получает путь куда топать.

и собственно Вы попадаете на сайт...

Покажите мне место, где в этом процессе участвует роботс.тхт

😆 умора

после склейки исходный домен не будет появлятся в выдаче, а будет появлятся тот домен к которому он приклеится... ;)

[Удален]

3 ноября 2009, 08:17

#85

M-Borman:
что его старый сайт на народе склеили с другим сайтом и даже в яндекс каталоге редакторы переписали имя домена на новое главное зеркало.

В том и дело, что народный сайт и робот после нахождения Идентичного сайта на домене 2 уровня выкидывал народный сайт из каталога оставляя в каталоге сайт на домене 2 уровня, как более приоритетный. Не надо путать мягкое и тёплое.

224

savage

13 ноября 2009, 15:48

#86

Забавный топик. Кстати, доля истины в нем есть - на своих сайтах host желательно прописывать, а то хрен знает как Яндекс поклеит после подобных махинаций - зеркальщик вообще глючная штука. Конечно, Лебедеву будет потом не сложно доказать, что он Лебедев, а википедии, что она википедия и все вернется на круги своя, даже если проглючит.

Насчет прятанья бэков старая тема, но зеркала также легко находятся при желании.

Купить / продать сайт ( https://www.telderi.ru/?pid=ca1f70 ) | Недорогой и надежный хостинг ( https://www.get-host.ru )

101

@ya

11 января 2010, 14:10

#87

Хе-хе, проделаю эксперимент. Сначала с доменами 3-го уровня. Не получится - попробую 2 и 3 уровня.

Много ТС тем накатал, надо хоть одну опробовать -)))

Дзен реализовал для авторов возможность вывода денег через СПБ

Маркетинг для шоколадной фабрики. На 34% выше средний чек