Большинство панелей серверов, дают такую возможность, а если есть ssh, то в mc на сервере можно подключиться к ftp или ssh другого сервера, или консольным браузером типа elinks выкачать ссылку, это если куки нужны. Ну самый простой способ конечно wget ваша_ссылка.
Если у вашего сайта есть зеркала. Нужно указать главное. В поиске будет участвовать только главное зеркало. Указать его можно при помощи robots.txt, используя директиву 'Host' . Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом.
(Типа в документации так написано, мне помогало, думаю также служит отталкивающим эффектом для желающих тырить сайт)
Домены мне не нужны, а вот каким-то образом помешать работе этих товарищей хотелось бы. Тем более, что, как я понимаю, то, что там показывается, размещено не у них, а идет через мой же сайт.
Большинство панелей серверов, дают такую возможность, а если есть ssh, то в mc на сервере можно подключиться к ftp или ssh другого сервера, или консольным браузером типа elinks выкачать ссылку, это если куки нужны. Ну самый простой способ конечно wget ваша_ссылка.
Но «отталкивающий эффект»-то остается!
Еще как остается...
Когда злоумышленник желает спарсить сайт, и его интересы направлены на траф с яндекса, это разбирающегося человека остановит, а для гугла все проще...
Обычно эти друзья граберы еще в добавок конвертят cp1251 -> utf8, или наоборот, как раз для гугла, догадайтесь сами почему :).
Если у вашего сайта есть зеркала. Нужно указать главное. В поиске будет участвовать только главное зеркало. Указать его можно при помощи robots.txt, используя директиву 'Host' . Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом.
(Типа в документации так написано, мне помогало, думаю также служит отталкивающим эффектом для желающих тырить сайт)
Пример:
#robots.txt выглядит так
User-Agent: *
Disallow: /forum
Disallow: /cgi-bin
Host: ваш-домен.ru
Доброе время суток.
В поиске был, но что-то не нашел ничего..
Вопрос вот, какой. У меня есть сайт: http://www.forumklassika.ru
Недавно заметил, что кто-то сделал домены http://forumclassics.ru/ и http://forumclassic.ru/ и там живут зеркала моего сайта.
Домены мне не нужны, а вот каким-то образом помешать работе этих товарищей хотелось бы. Тем более, что, как я понимаю, то, что там показывается, размещено не у них, а идет через мой же сайт.
Как это сделать?
Заранее большое спасибо!
Поставь в robots.txt, тот что по адресу:
http://www.forumklassika.ru/robots.txt
В самый низ:
Host: forumklassika.ru
Директива 'Host' определяет главное зеркало.
Тем самым в поиске будет участвовать только главное зеркало.