Как реализовать индексацию только новых страницы (на крупном портале)?

ElectroD
На сайте с 25.03.2008
Offline
89
320

Прочитал книгу Ашманова «Продвижения сайта в поисковых системах». В ней была глава, в которой рассказывалось о продвижении крупного новостного проекта. И в одном из подзаголовков, говорилось о том, что можно подавать роботам только новые страницы. То есть бот заходит и индексирует только новые страницы и страницы, у которых изменилась дата. А то смотришь, роботы сидят на сайте 24 часа в сутки и постоянно находятся там, где не нужно. Теоретически я понял, как это сделать. Но хотелось бы услышать от людей, которые делали так на своём сайте, по пунктам, как правильно это реализовать.

W
На сайте с 16.10.2008
Offline
142
#1

Обычно я реализовываю это с помощью внутренних ссылок, которые попадают в карту сайта, в нужные подразделы сайта и доступны роботу для индексации в 2-3 клика максимум. При такой реализации новые страницы попадают в индекс после очередного обновления поисковой выдачи (апа). Если часть страниц участвует в продвижении, то покупаю несколько трастовых ссылок на нужную страницу, индексируется отлично.

Миледи: интернет-магазин украшений с природными камнями (https://milady-24.ru/)
Sasha_l
На сайте с 22.08.2003
Offline
107
#2

Создать страничку "новые страницы" со ссылками на новые страницы и дать нее максимальное кол-во внутряков(можно сквозные снизу каждой страницы сайта на неё проставить)

Оптимизирую и продвину ваши сайты "под ключ" (http://www.seodoktor.ru/) Skype: SeoDoktor
Brand from Amber
На сайте с 18.08.2007
Offline
293
#3

ElectroD, В этой книге как раз всё и написано... и про 304 (Not Modified) и про <meta name="robots" content="noindex,nofollow">...

А вот, что про это говорит Яндекс

Могу ли я помочь роботу быстрее индексировать мой сайт?
Чтобы ускорить появление страниц сайта в поиске, воспользуйтесь нашими рекомендациями — во-первых, исключите из индексации ненужную информацию, во-вторых, сообщайте роботу о новых страницах. Для этого:


запретите в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;
создайте карту сайта, то есть страницу или несколько страниц, которые содержат ссылки на все документы сайта;
настройте сервер на выдачу корректных заголовков ответов (например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница с указанной в запросе даты не изменялась).

P.S. Теория.

Лучший способ понять что-то самому - объяснить это другому.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий