У вас ничего не менялось на сайте? бот точно не чекает устаревшие страницы. Есть еще вариант, что из-за сильной активности бота падает сайт. Как вариант в панели вебмастера гугл урезать лимит по запросам бота.
<meta property="og:image" content="http://allsoft.ru/bitrix/templates/allsoft2011/images/8let/dragon_normal.jpg" /> <meta property="og:title" content="Я – лицензионный Дракон!" /> <meta property="og:description" content="Результат теста: Дракон почти Ваш «конек»! Вы пока не можете преподавать Драконоведение, но на верном пути!" />
Fringer, в каком смысле напрямую. На скрине нет подозрений, что запросы каким-то образом эмитируются (как с метрикой). Идут исходящие вызовы с источниками. Это скорее всего реализовано через редирект с тех ссылок или во фрейм.
Дак вот, пример (вставить в header сайта):
<?php
function chref($str) {
$pos = stripos($_SERVER['HTTP_REFERER'], $str);
if ($pos === false) return false; else header('location: http://natribu.org');
}
#указать вхождения реферов и высылать на 3 буквы.
chref('float-share');
chref('site5-float');
Если нужно корректно 404, то как-то так
<?php
header("HTTP/1.0 404 Not Found");
header("HTTP/1.1 404 Not Found");
header("Status: 404 Not Found");
exit();?>
попробуйте.
В каком смысле ботов? технические переходы или людей которые тыкают по всему что мельтешит.
В первом случае технология может быть следующая:
1. при заходе на страницу записывается cookie через javascript
2. после записи обновление страницы, рефреш на javascript
3. проверка записанной куки, если существует то ничего не делаем, в противном случае выводим ошибку или редирект
Во втором случае можно попробовать проверять регион посетителя, если тизер нацелен на мск, то и траф должен быть с мск. В противном случае ошибка.
Найдите страницу в шаблоне, которая отвечает за вывод 404 страницы и добавьте строчку
в начало. Будет ждать 666 сек, после чего загружать страницу.
Так же можно сразу выдать ошибку, пропишите
header('Status: 503 Service Temporarily Unavailable');
header('Retry-After: 300'); ?>
Выдать ошибку связную с лимитом:
ini_set('display_errors',1);
ini_set('display_startup_errors',1);
error_reporting(-1);
set_time_limit(1);
max_execution_time(1);
sleep(2); ?>
У вас ничего не менялось на сайте? бот точно не чекает устаревшие страницы. Есть еще вариант, что из-за сильной активности бота падает сайт. Как вариант в панели вебмастера гугл урезать лимит по запросам бота.
wilelf, следует поправить ваш движок и направлять в эти теги картинку описания и само описание. Попросите программиста.
Если движок популярный, то скорее всего есть плагины. Точно знаю у WP есть много таких плагинов.
Сайт на CodeIgniter
Тогда все намного проще. Заменить формат роутов application/config/routes.php
ман: http://best-web-creation.com/articles/view/id/codeigniter-sef
Задайте метатеги в header вашего сайта, пример
<meta property="og:title" content="Я – лицензионный Дракон!" />
<meta property="og:description" content="Результат теста: Дракон почти Ваш «конек»! Вы пока не можете преподавать Драконоведение, но на верном пути!" />
Подробнее о формате FB: http://developers.facebook.com/docs/share/
Пруф: http://habrahabr.ru/company/softline/blog/144946/
Fringer, в каком смысле напрямую. На скрине нет подозрений, что запросы каким-то образом эмитируются (как с метрикой). Идут исходящие вызовы с источниками. Это скорее всего реализовано через редирект с тех ссылок или во фрейм.
Дак вот, пример (вставить в header сайта):
У многих редакторов есть упрощение комментирования. Например Sublime, выделение участка и Ctrl + Shift + /
Результат:
#222222
#333333
При повторе снимает решетку.
Если все же хотите по извращаться, то вот вам решение
тут нужные строки для комментирования
</Files>
Допишите в корне сайте в файл .htaccess
RewriteBase /
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
Будет с www перебрасывать.
Создайте файл robots.txt в корне, где напишите
Это будет указывать боту на ваш домен без www.