Полная копия сайта, автограббер, что делать?

SeVlad
На сайте с 03.11.2008
Offline
1609
#31
tomat_ok:
Все как обычно, заходишь в вебмастер добавляешь домен клона, скачиваешь файл подтверждения, заливаешь его на свой хостинг, нажимаешь проверить в вебмастере и все.

И как гугловебмастер его получит с чужого домена? Как этот файл окажется на нём? Откуда парсер узнает его урл?

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
KU
На сайте с 17.07.2008
Offline
251
#32
SeVlad:
И как гугловебмастер его получит с чужого домена? Как этот файл окажется на нём? Откуда парсер узнает его урл?

SeVlad, вы не поняли, сайт-клон на лету берет контент запрашиваемых страниц с сайта донора. Он не хранит контент у себя. Взял - передал - забыл. Типичный прокси.

Делая запрос GET http://сайт-клон/файл_подтверждения

в access логе сайта донора появляется запись GET http://сайт-донор/файл_подтверждения с IP адреса сервера, где размещен сайт-копия.

Хостинг ( https://good-host.net ) / Linux VPS ( https://good-host.net/vps ) / Windows VPS ( https://good-host.net/windows-vps ) / Выделенные серверы ( https://good-host.net/dedicated ) 14 лет онлайн!
SeVlad
На сайте с 03.11.2008
Offline
1609
#33
KM.UA:
SeVlad, вы не поняли, сайт-клон на лету берет контент с сайта домена. Он не хранит контент у себя.

KM.UA, может хранинь, может не хранить - смотря какой/как/для чего. Но тред НЕ ОБ ЭТОМ ЖЕ!!!. И не о логах на доноре.

Речь о подтверждении ЧУЖОГО домена (поддомена, если точнее) в гугловебмасте. Я уже даже опускаю, что в изначальной ситуации камрад не имеет базовых знаний сисадмина (логи и тп не смотрелись) и пр:

superf:
зашел в гугл вебмастер, как вебмастер этих сайтов, подтвердил права на сайты
...
Для подтверждения, файлик разместил на своем сайте, и этого оказалось достаточно, чтоб гугл посчитал что те сайты мои..

Весь вопрос сводиться к: Как можно отдать гуглу файл чужого домена, если на него нет (никто не делал) ссылок? Т.е. этот файл граббер не увидит и файл на домен парсера не попадёт.

---------- Добавлено 08.11.2015 в 20:45 ----------

KM.UA:
Делая запрос GET http://сайт-клон/файл_подтверждения
в access логе сайта донора появляется запись GET http://сайт-донор/файл_подтверждения с IP адреса сервера, где размещен сайт-копия

Хм.. А вот это уже вариант интересный. Надо обдумать.

---------- Добавлено 08.11.2015 в 20:51 ----------

SeVlad:
Надо обдумать.

Да, согласен, при определённых условиях это может сработать.

S
На сайте с 31.07.2009
Offline
162
#34
На самом деле подтверждение в вебместере гугла таких сайтов копий работает, только что проверил. Тоже есть такой сайт клон, который полностью копирует весь контент на другом домене. Причем даже файл роботс у него такой же.

- так не поверят же, скажут что сказочник :-)

SeVlad
На сайте с 03.11.2008
Offline
1609
#35
superf:
так не поверят же, скажут что сказочник

Без доказательств или объяснений процессов - да :) (думаешь, мало тут сказочников? ;)).

Но спокуха! По наводке KM.UA (за что ему очередной респект и уважуха) я ж признаю, был где-то не прав:

SeVlad:
согласен, при определённых условиях это может сработать.

Когда приводятся толковые аргументы - только недалёкий(ая) будет их не учитывать.

L
На сайте с 07.12.2007
Offline
351
#36
SeVlad:
Я уже даже опускаю, что в изначальной ситуации камрад не имеет базовых знаний сисадмина (логи и тп не смотрелись) и пр:
. . .
Весь вопрос сводиться к: Как можно отдать гуглу файл чужого домена, если на него нет (никто не делал) ссылок? Т.е. этот файл граббер не увидит и файл на домен парсера не попадёт.

У этих "комрадов" такая сообразительность и природная смекалка, что сисадмины с их "базовыми знаниями" нервно курят в сторонке.

Вон, superf сразу сказал что надо сделать, и никакие логи ему не потребовались.

В топике ещё на первой странице чётко объяснили как работает этот вариант автограббера.

Пост untee:

Публикации на этом сайте появляются автоматически, сразу же после их появления у меня

Явно же не в онлайн режиме автограббер сканирует сайт-жертву.

Пост korchik:

И происходит это в момент обращения страницы на клоне сайта
. . .
Ищем какую-нибудь не популярную страничку на своём сайте, меняем своё имя домена на имя домена клона и загружаем в браузере пару раз, при этом запоминаем время обращения к данной странице (для упрощения поиска в логе).

и подробно расписал нюансы работы и что смотреть в логах сервера. Сразу видно, что человек про граббинг знает не по наслышке.

MoMM
На сайте с 16.06.2006
Offline
727
#37

SeVlad, Ladycharm дело описывает. Вражеский сайт не парсит все заранее и не хранит на диске. Когда вебмастер родного сайта вносит вражеский домен в ВМТ гугла, то получает файл абв.тхт. Он размещает на родном сайте абв.тхт и кликает в ВМТ "подтвердить". Гугл запрашивает вражескийдомен/абв.тхт, а там такого нет, но тут же включается парсер и дергает абв.тхт к себе на вражеский домен и отдает гуглу. Происходит подтверждение прав вебмастера родного домена на вражеский домен.

SeVlad
На сайте с 03.11.2008
Offline
1609
#38
TO
На сайте с 02.06.2012
Offline
47
#39

Вот кстати еще она фишка. Можно сделать редирект с сайта клона на свой. Так весь трафик, который собирает клон будет идти на ваши страницы.

Вот условия для .htaccess (у меня работает)

RewriteCond %{HTTP_HOST} ^siteklon\.ru [NC]

RewriteRule ^(.*)$ http://vashsite.ru/$1 [R=301,L]

U
На сайте с 09.04.2015
Offline
28
#40
MoMM:
SeVlad, Ladycharm дело описывает. Вражеский сайт не парсит все заранее и не хранит на диске. Когда вебмастер родного сайта вносит вражеский домен в ВМТ гугла, то получает файл абв.тхт. Он размещает на родном сайте абв.тхт и кликает в ВМТ "подтвердить". Гугл запрашивает вражескийдомен/абв.тхт, а там такого нет, но тут же включается парсер и дергает абв.тхт к себе на вражеский домен и отдает гуглу. Происходит подтверждение прав вебмастера родного домена на вражеский домен.

Вы всерьез полагаете, что, зная имя файла подтверждения, можно подтвердить права на сайт с ДРУГОГО домена?

tomat_ok, а с какой стати при обращении к клону будут выполняться инструкции Вашего .htaccess?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий