- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Про те, которые формируют страницу.
Практически в любой CMS страница собирается из базовых частей. Самописные кстати тоже.
Суть в том, что при формировании 404 страницы, код Метрики никуда не пропадает.
Более того, в Метрике можно вести отслеживание 404 страниц через цели.
к примеру в вп можно условие сделать отображать метрику на всех страницах кроме 404. просто пример.
к примеру в вп можно условие сделать отображать метрику на всех страницах кроме 404. просто пример.
Да, можно. Уверен и на других CMS тоже можно, если будет такая задача. Резонное дополнение.
Да, можно. Уверен и на других CMS тоже можно, если будет такая задача. Резонное дополнение.
Ну как вариант создать эти страницы (каким-нибудь сервисом), сделать 301 редирект внутри каждой на главную, опять придумав как, но как на seo скажется это неизвестно.
ТС уже не появляется, а здесь все воду льют любители поговорить )))
По сути - тоже с такой проблемой сталкиваюсь часто.
Решить можно только комплексно, иначе бот так и будет долбить по этим адресам.
1. Отключить на время обход по счетчикам, иначе любой заход по урлу Метрика отправляет как сигнал роботу на переобход. А еще лучше, вообще его отключить, ибо куча мусора идет по сигналам Метрики, с хорошим сайтмапом и структурой, никакой обход по счетчикам не нужен.
2. ЯВМ - Инструменты - Удаление страниц из Поиска - кидаем туда весь список урлов, на которые нужно запретить заход. Понимаю, звучит нелепо, но реально работает как-то так, что робот долбит эти страницы и удалять их нужно именно таким способом. Придется этот список кидать раза три, в течение пары недель. Со временем список сойдет на нет.
3. Если у урлов прослеживается общий путь, то добавить в robots.txt - Disallow маску этих урлов.
Через пару недель все закончится или заметно уменьшится.
Всем доброго дня, сейчас посмотрел идет все таки угасание переобхода подобного мусора http://joxi.ru/p27YDa9CZxa9xr уже в день находит менее 100 шт, думается что само сойдет на нет, ну и отключил переобход по счетчику на всякий случай до момента пока эта канитель не кончится, спасибо всем за советы и участие.
Также отключил переобход, вроде стали пропадать давно удаленные страницы. Я так понимаю что по ним ходят боты, а яндекс их естественно переобходит по счетчику и не удаляет
ТС уже не появляется, а здесь все воду льют любители поговорить )))
По сути - тоже с такой проблемой сталкиваюсь часто.
Решить можно только комплексно, иначе бот так и будет долбить по этим адресам.
1. Отключить на время обход по счетчикам, иначе любой заход по урлу Метрика отправляет как сигнал роботу на переобход. А еще лучше, вообще его отключить, ибо куча мусора идет по сигналам Метрики, с хорошим сайтмапом и структурой, никакой обход по счетчикам не нужен.
2. ЯВМ - Инструменты - Удаление страниц из Поиска - кидаем туда весь список урлов, на которые нужно запретить заход. Понимаю, звучит нелепо, но реально работает как-то так, что робот долбит эти страницы и удалять их нужно именно таким способом. Придется этот список кидать раза три, в течение пары недель. Со временем список сойдет на нет.
3. Если у урлов прослеживается общий путь, то добавить в robots.txt - Disallow маску этих урлов.
Через пару недель все закончится или заметно уменьшится.
- Включен обход по счетчикам на сайтах - удаляет 404 быстро.
Чем быстрее бот, дойдет до удаленной страницы, тем быстрее он ее удалит.
- Запретить обход - вы запрещаете боту зайти на страницу и получить 404
- добавить в robots.txt Disallow - вы запрещаете боту зайти на страниицу и получить 404.
Удаленные страницы могут висеть при таком запрете вечно в индексе.
- Уменьшение скорости обхода. Может оставить ее высокой, а уменьшить количество страниц при обходе сайта.
И сохранить при этом лимиты? И не создавать топики, что роботы кладут сайт из-за 404?
Комплес работ который яляется бредом. Вместо стандартных решений.
Все это безусловно верно и правильно, но только с нормальным ботом.
У Яндекса бот работает так, как ему вздумается, порой нарушая свои же инструкции.
Включен обход по счетчикам на сайтах - удаляет 404 быстро.
Угу... и добавляет еще кучу новых 404, которые нагенерят парсеры и краулеры.
Чем быстрее бот, дойдет до удаленной страницы, тем быстрее он ее удалит.
В случае ТС - это не работает.
Да и вообще у Яндекса часто не работает - он будет долбить эту 404 страницу еще месяц, прежде чем удалит из базы.
В продолжение данной темы, возможно будет интересно кому-то: столкнулся совсем недавно с похожей проблемой. Поизучал логи того, как робот яндекс обрабатывает 404 ошибки и вот что заметил: прежде чем выкинуть страницу из индекса своего и перестать на нее ходить, он делает 3 попытки в течении месяца примерно с такими периодами:
После этого он забывает про нее (про влияние внешних ссылок ничего не могу сказать - на мои страницы ничто не указывало извне и внутренних тоже не было).