что значит парсят в реальном времени

Р
На сайте с 05.10.2007
Offline
1
1016

Обьясните пожайлуста как от этого избавиться.Сайт www.lintek.com.ru

F
На сайте с 20.05.2007
Offline
55
#1

смотрите логи своего сервера,

"парсят в реальном времени" - к вам периодически заходит бот и если на вашем сайте появился новый контент - бот его сразу копирует.

вам надо найти в логах ip этого бота и запретить доступ к сайту в htaccess с этого ip

возможно ip бота совпадет с ip домена сайта-вора, поэтому выполните nslookup, поищите этот ip в логах и забаньте на всякий случай.

также пишите жалобы хостеру, регистратору домена, владельцу ресурса

Alex Klo
На сайте с 15.06.2006
Offline
304
#2

и пугайте угол.преследованием за воровство. :)

Проверка и мониторинг позиций сайта ( http://www.topvisor.ru/?inv=1520 ) Продвигаю сайты http://climat-nw.ru/conditioner-installation/ http://www.aircom-spb.ru/service/montaj/
Р
На сайте с 05.10.2007
Offline
1
#3

Как посмотреть в логах.Извините за недалекость в какой папке они находяться на Ftp

Alex Klo
На сайте с 15.06.2006
Offline
304
#4

обратитесь к вашему хостеру. (Не спрашивайте меня, кто такой хостер... :) )

в какой папке они находятся

у каждого по-разному.

например ftp://1.***.**.ru/www/site1/public_html

А вы сайт сами делали?

Похоже, что вы заказывали кому-то, и обидели его. Может это он вам мстит? (Если не так - извините.)

SF
На сайте с 11.10.2005
Offline
137
#5

смотреть можно через Cpanel

там есть ссылка сырые логи, обычно заархивированные открываете текстовый файлик и смотрите.

А можно на всех своих страницах поставить php код

<?

echo '<!-- ip='.$REMOTE_ADDR.'
agent='.$HTTP_USER_AGENT.'
date='.date('d:M:Y H:i:s').' -->' ;
?>

тогда в коде страницы, укравшего у вас сайта вы увидите примерно такой коментарий.

<!-- ip=81.20.173.45 

agent=Opera/9.02 (Windows NT 5.1; U; ru)
date=05:Oct:2007 20:13:09 -->

это значит что парсер скачал вашу страницу date=05:Oct:2007 20:13:09

парсил он с ip=81.20.173.45

представился Opera/9.02 (Windows NT 5.1; U; ru) или любым другим браузером

кстате этот код также удобен когда просматриваете сохраненую версию в яндексе, сразу видно когда яндекс проиндексировал вашу страницу.

<!-- ip=87.250.252.29 

agent=Yandex/1.01.001 (compatible; Win16; I)
date=01:Sep:2007 04:29:33 -->
Инструкция: Как Правильно Делать Сайты: Домен, Хостинг, Установка CMS (http://www.3sd.ru/kak-delat-site/index.php).
Р
На сайте с 05.10.2007
Offline
1
#6

Сайт ребята начинали делать еще года два назад никого не обижал я с ними переодически общаюсь.Потом мне отдали ну показали как там добовлять контент создавать страницы ну и.т.д. Ну они ребята занятые я их стараюсь не беспокоить.Когда

уж прижмет спрашиваю. Я понял в какой папке смотреть.Теперь следующий вопрос где там видно какой бот заходил.

JL
На сайте с 22.01.2007
Offline
132
#7

Прочитал тему и неспокойно на душе стало. Вдруг и у меня контент крадут. Посмотрел логи, а там в разделе Роботы/Пауки добавилась такая строчка

различные роботы* Хиты Величина Последний визит
Unknown robot (identified by 'crawl') 2919 32.85 МБ 05 Октябрь 2007 - 02:04

И что самое интересное - хитов у этого робота в 10 раз больше чем у того же яндекса.

Т.к. сайт у меня первый, не знаю что и думать. На остальных пауков реагировал нормально т.к. названия знакомые (Яндекс, Гугл и т.д.), а что делать с этим незнакомцем? Поиск по яндексу показал что такие животные водятся не только у меня.

Р
На сайте с 05.10.2007
Offline
1
#8

Это логи правильно или нет

eth0 Link encap:Ethernet HWaddr 00:10:DC:CA:B7:E0

inet addr:66.98.164.84 Bcast:66.98.165.255 Mask:255.255.254.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:53740241 errors:0 dropped:0 overruns:0 frame:0

TX packets:58333836 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:2536879836 (2419.3 Mb) TX bytes:2294805827 (2188.4 Mb)

Interrupt:21 Base address:0x8000

eth0:1 Link encap:Ethernet HWaddr 00:10:DC:CA:B7:E0

inet addr:66.98.164.226 Bcast:66.98.164.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:21 Base address:0x8000

eth0:2 Link encap:Ethernet HWaddr 00:10:DC:CA:B7:E0

inet addr:66.98.164.227 Bcast:66.98.164.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:21 Base address:0x8000

eth0:3 Link encap:Ethernet HWaddr 00:10:DC:CA:B7:E0

inet addr:66.98.164.228 Bcast:66.98.164.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:21 Base address:0x8000

eth0:4 Link encap:Ethernet HWaddr 00:10:DC:CA:B7:E0

inet addr:66.98.164.229 Bcast:66.98.164.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:21 Base address:0x8000

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий