SocFishing

Если нужно корректно 404, то как-то так

попробуйте.

В каком смысле ботов? технические переходы или людей которые тыкают по всему что мельтешит.

В первом случае технология может быть следующая:

1. при заходе на страницу записывается cookie через javascript

2. после записи обновление страницы, рефреш на javascript

3. проверка записанной куки, если существует то ничего не делаем, в противном случае выводим ошибку или редирект

Во втором случае можно попробовать проверять регион посетителя, если тизер нацелен на мск, то и траф должен быть с мск. В противном случае ошибка.

Найдите страницу в шаблоне, которая отвечает за вывод 404 страницы и добавьте строчку

в начало. Будет ждать 666 сек, после чего загружать страницу.

Так же можно сразу выдать ошибку, пропишите

Выдать ошибку связную с лимитом:

У вас ничего не менялось на сайте? бот точно не чекает устаревшие страницы. Есть еще вариант, что из-за сильной активности бота падает сайт. Как вариант в панели вебмастера гугл урезать лимит по запросам бота.

wilelf, следует поправить ваш движок и направлять в эти теги картинку описания и само описание. Попросите программиста.

Если движок популярный, то скорее всего есть плагины. Точно знаю у WP есть много таких плагинов.

Тогда все намного проще. Заменить формат роутов application/config/routes.php

ман: http://best-web-creation.com/articles/view/id/codeigniter-sef

Задайте метатеги в header вашего сайта, пример

Подробнее о формате FB: http://developers.facebook.com/docs/share/

Пруф: http://habrahabr.ru/company/softline/blog/144946/

Fringer, в каком смысле напрямую. На скрине нет подозрений, что запросы каким-то образом эмитируются (как с метрикой). Идут исходящие вызовы с источниками. Это скорее всего реализовано через редирект с тех ссылок или во фрейм.

Дак вот, пример (вставить в header сайта):

<?php 

function chref($str) {

$pos = stripos($_SERVER['HTTP_REFERER'], $str);

if ($pos === false) return false; else header('location: http://natribu.org');

}



#указать вхождения реферов и высылать на 3 буквы.

chref('float-share');

chref('site5-float');

У многих редакторов есть упрощение комментирования. Например Sublime, выделение участка и Ctrl + Shift + /

Результат:

При повторе снимает решетку.

Если все же хотите по извращаться, то вот вам решение

Допишите в корне сайте в файл .htaccess

Будет с www перебрасывать.

Создайте файл robots.txt в корне, где напишите

Это будет указывать боту на ваш домен без www.