di_max: нельзя с уверенностью сказать, что страницы намеренно запрещены к индексированию
Чего придираться-то к словам на пустом месте?
Если уж придираться, то я бы возмутился фразой на главной странице "Общая информация"
"Загружено роботом"
, хотя сайт почти целиком запрещен в robots.txt и в это число попали все страницы, которые "Исключено роботом", страницы, которые известны по ссылкам, запрещены с момента регистрации домена и никогда не скачивались роботом.
Переставил галки, но в списке запрещенных страниц страницы с редиректами на появились :(. Отключено же.
было принято решение не показывать в числе исключенных страниц страницы с редиректами, так как в подавляющем большинстве случаев это сделано намеренно и не является проблемой, а многих пользователей информация такого рода сбивает с толку.
Нет, нужно в свой Excel выгружать из Гугла. И уже тут
Тогда GA + Excel, функция ВПР(). И никакого ограничения на количество запросов.
придётся переписывать документы из за чего изменится дата регистрации домена
это все фигня.
и продвигается по большому числу НЧ запросов (около 1400).
И по скольким запросам он в топ-10 ?
считает "запрещенными к индексации" или нет?
И что, Яндекс выкидывает их из индекса?
Наверное нужно судить по делам, а не по словам.
Так делал уже вроде тут один человек эксперимент. Но есть сомнения в его чистоте.
А вам лень даже найти ссылку? Лучше исписать 5 страниц на форуме флудом?
А тут что вам не понравилось? Что робот в дернул документ по адресу и получил 404 вместе с заголовком Last-Modified?
Зачем ваш сервер его отдает для 404 страницы?
там же написано:
нельзя с уверенностью сказать, что страницы намеренно запрещены к индексированию
Чего придираться-то к словам на пустом месте?
Если уж придираться, то я бы возмутился фразой на главной странице "Общая информация"
"Загружено роботом"
, хотя сайт почти целиком запрещен в robots.txt и в это число попали все страницы, которые "Исключено роботом", страницы, которые известны по ссылкам, запрещены с момента регистрации домена и никогда не скачивались роботом.
6uoncuxo3, о, класс. Но использовать не удалось.
Переставил галки, но в списке запрещенных страниц страницы с редиректами на появились :(. Отключено же.
страницы с редиректами, так как в подавляющем большинстве случаев это сделано
намеренно и не является проблемой, а многих пользователей информация такого
рода сбивает с толку.
Дело было в феврале 2010.
Ну ведь при 304 тело документа не отдается, как же его проиндексируешь.