Счетчик LI на сайте есть, а данные закрыты - как часто это встречается? (у 80% сайтов) Доступны данные только за 24 часа и за месяц, которые не так много говорят о сайте. Решение - каждый день сохранять статистику "за 24 часа" для сайтов, имеющих LI счетчик, ведь всего 2% сайта скрывают эти данные. И вауля)
Все что отображается в браузете - можно спасить. В крайнем случае можно использовать PhantomJS.
Можно ориентироваться на заголовок Accept-Language, который передает большинство браузеров и на его основе блокировать переходы.
Если нагрузки небольшие, то попробуйте облако. AWS например.
но поможет ли она если ссылки уже проиндексированы?
Поможет, просто нужно время. Для успокоения, можете еще на эти страницы добавить мета-тег robots.
Если статья с HTML-кодом хранится в БД, то есть опасность SQL-инъекций. Про XSS уже сказали. Ну и банально можно поставить невидимую ссылку.
Всё это мусор. Сделать выгрузку из ahrefs - будет в 1000 раз полезнее.
Спасибо за ответ. Я бы с радостью добавил ahrefs, но судя по их ценнику, проще будет написать свой краулер.
http://liarchive.ru/
Около года назад переехал на ihor с firstvds. За этот год была только одна проблема, и то по моей вине. Всем доволен.
Это можно сделать в Хроме, в панели разработчика (F12), вкладка Network: