клоакинг ссылок - стоит ли.

Google очень хорошо читает JS. Если хотите чтоб ссылки оставались но не виделись гуглом то прячьте их под капчу, делайте доступными только зарегистрированным юзерам или хитрый AJAX через внешний JS скрипт с обязхательным кликом по кнопке и проверкой айпишника - можно запретить гуглботам видеть что хранится за скриптом

ну это и есть клоакинг :D правда чутка продвинутее и белее, чем обычно дорвейщики делают

Можно запретить только индексировать это и то на усмотрение поисковика, запретить им видеть это нельзя.

Можно, если по ip определять бота

судя по офф инфе "Теперь, с введением сканирования по географическим регионам, робот будет использовать и адреса из других стран, например из Австралии или России"

просто закрыть ему забугор не выйдет, может воспользоватся кроме юзерагента как предлагает сам гугл

revers dns , я так понимаю и дополнительно по нему прочекать типа gethostbyaddr()

базы ботов постоянно меняются, но айпишники по идее всегда должны принадлежать AS google

ну я бы сказал не белее - а белое :D. Никто гугла не обманывает, не меняет данные. просто его не пускают туда куда не надо. Ну или идти совершенно белым путем - капча или отображение зареганым юзерам

---------- Добавлено 17.01.2016 в 22:41 ----------

Легко. гуглим "IP google ботов", загоняем их всех в массив и делаем проверочку

$ip_gbot=("xxx.xxx.xxx.xxx","xxx.xxx.xxx.xxx",...,"xxx.xxx.xxx.xxx")

if (in_array($_SERVER['REMOTE_ADDR'], $ip_gbot))
{
header('Location: http://'.$_SERVER['HTTP_HOST'].'/'); 
exit;
}

И все, айпишники гугла не зайдут на этот скрипт. Т.е. суть какая - на сам сайт гугл ходит без проблем, а вод увидеть что там дальше - низя. Вот не знаю будет ли гугл обижаться на это :D

Есть пруф или это лишь догадки?

Тут дело такое, что источником информации может служить технология Safebrowsing через Хром, а не сканирующие боты.

По-моему бесполезно прятать, ну, по крайней мере у меня не получалось. Как бы не маскировал - все равно видят. JS/AJAX они считывают и понимают, я даже добавлял сессии php, редиректы и юзерагенты, в общем много вариантов, что бы бот не прочел, а пользователь прочел. Не помогло, как у клиента они видели все ссылки так и видели.

Кроме того, даже если прятать от самого бота - палят через браузеры. С IP - где-то у них же читал, что при подозрениях они могут сделать запрос полностью имитируя обычный браузер пользователя, с обычным, не маркированным собственными сетями IP. Понятно, что они не будут это делать постоянно, но достаточно один раз клоакинг им спалить и будет не очень.

aldous, дело говорит. Хром прекрасно сливает инфу в гугл. Встречали в индексе страницы, к которым бот просто физически не получал доступа. А после того как страница открылась в хроме гугл о ней узнал.