Вопрос знатокам

D1
На сайте с 21.03.2013
Offline
0
245

Всем здравствуйте, сделал двиг. на основе ebay-api, походу дела возникли следующие вопросы по сео:

Товары ведь периодически удаляются, значит страницы будут выдавать 404, как запретить индексацию этих страниц, да и вообще сайта, кроме статических страниц? Ведь везде будет меню с с ссылками на категории по которым чую будут бегать краулеры вдобавок съедая суточные лимиты обращения к api. Тегами noindex или в метатеге robots? Или ещё как?

Желательно сделать так что бы роботы переходили только по определённым ссылкам из меню, которые будут вести на статические страницы и запретить индексацию других страниц, ссылки на которые будут проставлять пользователи в социалках. Как то так.

Спасибо за внимание =)

S
На сайте с 06.08.2008
Offline
130
#1

Всех глупых роботов забанить в robots, оставив только пару нужных.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий