Бот не заходит на внутренние страницы

D
На сайте с 25.08.2007
Offline
29
614

Купил домен, выложил сайт, через апдейт появилась в индексе главная страница. И на этом все.

Проверил по логам: бот I регулярно берет главную страницу и robots.txt (файл отсутствует выдается 404 ошибка). А на внутренние страницы не заходит. google и yahoo проиндексировали сайт полностью.

Добавляю главную через addurl пишет - Указанный URL уже проиндексирован.

Добавляю внутреннюю страницу, пишет - указанный URL запрещен к индексации.

Даже не знаю как долго это может продолжаться.

Digital Helen
На сайте с 10.11.2006
Offline
108
#1

Сколько времени прошло после индексации главной? У меня обычно всегда сначала индексится потом постепенно остальные.

SiBoner
На сайте с 05.03.2010
Offline
82
#2

Раз пишет что указанный URL запрещен к индексации, то попробуйте разместить стандартный робос:

User-agent: *

Host: site.ru

D
На сайте с 25.08.2007
Offline
29
#3

Месяц точно прошел. Тут речь о том что именно бот не заходит.

Про стандартный разрешающий роботс, тоже думаю так сделать, только директиву Yandex добавить.

Добавлю, что при проверке robots.txt в панели вебмастера, яндекс пишет что урл внутренней страницы к индексации разрешен.

А при добавлении в аддурл что к индексации зарещен.

Jaf4
На сайте с 03.08.2009
Offline
804
#4

Та же фигня. Урлы латиницей. Роботс и сайтмап присутствуют, сиэмэс - вычищенный от блогомусора вп. В гугле все, что должно быть- уже давно присутствует. В яндексе - только морда. Точнее три одинаковых урла морды, немного разных по содержанию, контент пополняется, часть морды обновляется (наполняется меню) + потихоньку растет ссылочная масса. Пока сдвигов нет.

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий