Как идет по сайту поисковый робот ?

D
На сайте с 24.11.2012
Offline
52
426

Вот есть сайт, главная страница и куча разделов, статей и новости.

Для добавления статей и новостей есть какая-то самописная CMS.

Поисковому роботу вообще есть какое-либо дело до главной страницы ?

Или он идет привычным маршрутом прямо на проиндексированные ранее странички ?

То есть если у меня главная страница кроме шапки с титлом и колонок с разделами ничего и не содержит, то получается если я ее начну кроить (оставив как есть все странички с наезженными урл), то поисковик изменение главной может и не заметить ?

moneyboy
На сайте с 07.03.2012
Offline
43
#1

Поисковый робот сканирует полностью все страницы вашего сайта, вплоть до якобы закрытых разделов. Ему пофиг на все ваши пользовательские запреты. Пофиг на файл robots.txt К нему ПС конечно прислушиваются, но в большинстве своем игнорят просто. Паук сканирует сначала главную страницу, потом ползет на страницы второго уровня вложенности (это страницы в одном клике от главной). Потом он лезет на третий уровень и т.д пока все не обойдет. Чем чаще происходят изменения в вашем сайте, тем чаще к вам заглядывает поисковый робот. Любые изменения в коде или чем то еще сканируются. А вообще юзайте поиск, там есть статьи по поводу поведения поисковых роботов.

Блог Антона Машнина (http://blog-mashnin.ru/)
Белый Ум
На сайте с 27.04.2009
Offline
251
#2

Хотите знать как работает краулер - читайте соответствующие статьи. Там все написанно и рассказанно, можете даже своего краулера написать.

Но я вижу, что у вас практический вопрос - говорите, что конкретно интересует?

Skype: shum_beliy
D
На сайте с 24.11.2012
Offline
52
#3

Практический вопрос в том что я на сайте с неработающей по ряду причин системой управления начал понемногу менять странички, т.к. хтмл знаю и в блокноте перепилать страничку могу. Но главная страница (файл индекс) состоит из ссылок на файлы-колонки, которые наполнялись раньше ЦМС а сейчас не наполняются. Я думаю влезть самостоятельно в код странички Индекс и попробовать туда чисто средствами хтмл начать постить свежую информацию.

А чуть позже, когда посетители поймут что сайт ожил (и поисковики поймут тоже), я хочу уже переделать дизайн как минимум, как максимум добавить комментарии к статьям и изменить структуру разделов. Ну и оживить ЦМС или поменять на другую.

И мне очень важно чтобы при моих манипуляциях с главной страничкой и с заменой ЦМС самые важные странички с урлами вида сайт.ру\page1 и т.д.

никуда не делись в поисковике. В общем не навредить чтобы.

Дальнейшие планы - добавить яндекс- и гугл-рекламу контекст и сделать страничку для банковской партнерки (не спеша).

Белый Ум
На сайте с 27.04.2009
Offline
251
#4

Не занимайтесь бредом. Начните с новой цмс, а страницы тупо переносите постраничным редиректом.

---------- Добавлено 04.03.2013 в 13:23 ----------

Хотя и редирект постраничный тоже бред. Если нужно, пс по новому переиндексирует. Редирект имеет смысл делать в том случае, если есть жирные беки или трафик на страницы. У вас не первого ни второго нет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий