Использовал для подобных вещей PHP Simple HTML DOM Parser(http://simplehtmldom.sourceforge.net/), вполне хватало
1.В RSS выводить не полную новость
2.Отловить бота и забанить по IP (IP может быть как у IP сайта ворюги)---------- Добавлено 16.09.2014 в 12:33 ----------
Записи -> Рубрики -> «Нужная рубрика» -> Изменить -> Описание
У меня работает, однако в некоторых темах может выводиться также на странице
Больше конкретики нужно, тогда больше шансов найти помощника.
"/natiajnie-potolki"
Все зависит от сайта. Если сайт статический HTML то долго, если большой сайт то результат нормальный, но есть куда стремиться
можно Canonical, а можно 301 редирект использовать
Источник контента + пример сайтов в ЛС.
Шаг
Начал тестировать сервис, немного дороже выходит чем у sitexpert.org что плохо, но зато функционал гораздо шире. Также бывает что странички долговато грузятся, но я уверен что это временно.
Появились вопросы:
- Глубина проверки 100? Можно сделать больше?
- Интервал проверок можно сделать для разных ПС разный. Например Яндекс по апам, гугл каждый день
Ну и получил бы бонус ID: 2189
Спасибо за сервис!
Старт, 150$ + URL
В случае когда хотите сохранить ссылочное наверно лучше использовать:
<meta name=“robots” content=“noindex,follow”>
