- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Суть вопроса в следующем. Имеется сайт возрастом около 2-х лет. После радикального изменения дизайна сайта и связанного с этим полной замены всего контента начал возрастать список страниц, исключенных роботом с ошибкой 404. Смена контента произошла в мае 2011 г. Страницы, находящиеся в списке исключенных роботом, в данный момент просто не существуют на сервере физически. Тем не менее, их количество со временем только возрастает.
Как-то не нравится мне все это. Подскажите, как лучше всего поступить в данной ситуации?
Заранее спасибо.
Страницы, находящиеся в списке исключенных роботом- эти страницы и закрывайте в robots.txt они и будут запрешены к индексации.
Простите, но в чем смысл внесения старых страниц в Роботс, если они сами собой отпадут?
Если сайт поменял ВСЕ, то и страницы имеют другие адреса, естественно, что яндекс сразу все не может исключить, вот страницы и растут, их же нет, вот и ошибка 404.
Потерпите, исключит все страницы и перестанут они появляться.
Спасибо за ответы. Вот что мне написали с Яндекс Вебмастера , цитирую
-----------------
Чтобы удалить информацию об исключенных страницах из Вебмастера, чтобы они были удалены с сайта (отдавали код ошибки 404), а также на них не должны вести внутренние и внешние ссылки. Информация о таких документах со временем будет удалена автоматически.
-----------------
Собственно говоря, все эти условия и выполнялись. 404 отдавали, ссылок на них не было. И в роботс я их тоже занес. Тем не менее, их количество только возрастало.
Однако, проблема собственно, уже разрешилась вчера, и, как можно полагать, по другой причине.
В корневой директории сайта лежала папка с остатками старого контента, которую было невозможно удалить в связи с косяком хостера, при попытке удаления возвращалась ошибка 550 Operation not permitted. Однако, ВНИМАНИЕ!, там лежали только фотографии в jpeg, никаких иных файлов (html, php) там не было. Лежала он там уже давно, все руки не доходили с ней разобраться. Количество этих файлов там тоже не менялось.
И вот вчера, после обращения в техподдержку хостера косяк они исправили, папку я удалил, в результате сегодня вместо 285 исключенных страниц - осталась одна (1).
Вот такая история.
Т.е за один день, яндекс.вебмастер осознал, что все удалено и оставил только одну страницу, это реально?
Может просто совпало :)
Похоже, совпадение ))
-------------------
Вчера было обновление поисковой базы, в связи с этим обновилась информация в сервисе Яндекс.Вебмастер.
-------------------
Скорее всего не совпадение:
смею предположить что бот просканировал страницу на которой было изображение, потом страницу удалили но ссылка на изображение осталась, бот заходит посмотреть на изображение оно есть, смотрит на ссылку которая ссылалась на изображение её нет и так по кругу, все ждал видимо когда родительская ссылка опять объявится.