посмотрел сегодня логи - те страницы, которые я вручную указал в форме добавления урла, на них робот зашел сразу же, прошлой ночью, и сразу же ушел... сейчас посмотрел, проиндексировались ли эти 2 страницы - нет. Может убрать этот "Host" из robots.txt?, чтобы бот не морочался с зеркалами а занимался делом? :)
вотчто он пишет:
уже попробовал... :) ругается что сайт является зеркалом, но добавляет. Подсунул ему пару страничек, завтра логи гляну на предмет захода на них. Сенькс за идею!
а разве туда можно страницы добавлять? :) сайт то я уже давно добавил... какое-то время он индексировался нормально, новые страницы добалялись в течение дня-двух... а потом что-то случилось и всё... новые не индексируются, только обновляются старые.
недели полторы... думал это из-за мета last modified, в котором я прописал gmdate для всех страниц... но что-то сильно сомневаюсь.
что я ещё менял полторы недели назад? прописал в роботсах "Host: sitename.ru" хотя в форму добавления урла на яндексе писал www.sitename.ru. Фактически определил www.sitename.ru зеркалом сайта sitename.ru. Могло это повлиять?
