- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сегодня на ночь, я читал логи и обнаружил что на страницы, которые не существует (404 ошибка) ходит робот Яндекса, причем индексатор. Вопрос в следующем, нужно ли эти страницы удалять искуственно, через форму на http://yandex.ru/removeurl.html, что бы не засорять базу и не отвлекать робота от более важных страниц ?
Страницы с 404 никак не отвлекут робота Яндекса от других страниц. Квота в 500 страниц распространяется только на те страницы, которые вернули отклик 200 на запрос If-Modified-Since
Спасибо, wolf. А можно еще вопрос-дегенарат, а чего вобще может делать и забыл индесатор на страницах, которых не существует, ведь там же нечего индексировать ?
Может, ссылки на эти страницы где-нибудь остались, и он их по этим ссылкам и находит.
Ссылки, остались, видимо в результатах поиска. :(
Скорее, на страницах других сайтов
Если ссылки остались в результатах поиска, значит не так давно эти страницы еще существовали. Робот помнит адреса всех проиндексированных страниц и регулярно проверяет их на предмет изменения. Если такая страница вернет код 404, робот удалит ее из результатов поиска и забудет ее адрес, т.к. страницы более не существует.
При реорганизации структуры сайта иногда ликвидируются некоторые папки, страницы и, соответственно, внутренние ссылки на них.
Но пока новые страницы не проиндексированы (а процесс не быстрый, однако), жалко удалять старые - они проиндексированы, на них народ с поиска хорошо идет.
Как к этому отнесутся поисковики? Не воспримут как дорвеи?
Спасибо.
А при чем тут дорвеи? Эти же страницы не нарушали правил поисковых систем и сделаны для людей... Нарушений не вижу.
LiM, смущает, что с сайта нет больше ссылки на страницу, а на самой странице - есть, меню, например. Формально это не дорвей?
На самом деле интересный вопрос. Потому что, по большому счету, не очень хочется убирать старую страницу, если она видна по одним запросам, а новая проиндексированная по другим. И в принципе это очень интелегентный дорвей.
Но к сожалению, критерий "страницы сделана для людей" и настроение модератора Яндекса как говорят, у Greyа в Одессе две большие разницы. А правила поисковиков строго не регламентируют данную ситуацию......
Потому что к примеру, можно сделать под разные запросы разные страницы сайта не связанные с ним навигацией.... И они не будут обманом людей, но сделаны будут под запросы.