- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Столкнулся с такой проблемой как с Гуглом, так и с Мэйлом.
Есть страница по адресу: site.ru/service.html
В логах заметил, а затем и в выдаче, что поисковик индексирует страницу такого вида:
site.ru/service.html/images/contacts/rent/commerc/и т.д./какая-нибудь страница.html
т.о. страницу service.html считывает как каталог и включает другие каталоги, формируя какой-то бредовый путь. При этом, поисковик целый день может ходить по таким лже-страницам, не и индексировать нормальные страницы.
Я проверял все что можно, но таких адресов у меня нет и никакие скрипы не формируют их.
Вопрос: каким образом такие адреса формируются у поисковика? Это ошибки бота или ошибки со стороны сервера? Или поисковик узнал о таких адресах от кривых парсеров, которые такие адресы выложили в интернет? Или что-то еще?
Из методов борьбы с явлением я выбрал такую тактику: закрытие в роботс.тхт таких путей /service.html/* и установка редиректа на странице, что, мол, если адрес иной от /service.html , то редирект на /service.html
Но такие страницы могут и дальше появляться. Что же, для всех правила прописывать.
Кто-нибудь с таким явлением сталкивался?
У нас была аналогичная история, когда мы только начинали делать свой проект.
Все было связано с тем, что у нас был линк, который генерировал битую страницу, на которой генерировались битые ссылки.
Самым сложным оказалось найти страницу, на которой была расположена битая ссылка. После этого через WMT удаляли битые линки. В итоге, года полтора боролись с битыми линками.
Или поисковик узнал о таких адресах от кривых парсеров, которые такие адресы выложили в интернет?
Он скорее всего узнал кривой адрес изх СМС сайта. Скачайте и проверте ссылки сайта.
Столкнулся с такой проблемой как с Гуглом, так и с Мэйлом.
Есть страница по адресу: site.ru/service.html
В логах заметил, а затем и в выдаче, что поисковик индексирует страницу такого вида:
site.ru/service.html/images/contacts/rent/commerc/и т.д./какая-нибудь страница.html
т.о. страницу service.html считывает как каталог и включает другие каталоги, формируя какой-то бредовый путь. При этом, поисковик целый день может ходить по таким лже-страницам, не и индексировать нормальные страницы.
Или страница с битыми ссылками, или проблема, что более вероятно, в относительных или абсолютных путях внутри хтмл-кода. Т.е. поисковик пляшет не от корня сайта, а от текущей страницы...
Внутренние ссылки на сайте без слеша в начале.
А тот кто делал ЧПУ этого не понял.
Больше похоже что дорвей залили
Внутренние ссылки на сайте без слеша в начале.
Ну так у меня на сайтах все внутренние ссылки без слэша в начале.
А проблем, подобных описываемой, нету.
Что не так? 😂
Спасибо, что откликнулись.
Генератора линков у меня нет, посему ничего не может такое нагенерить. Проверял линки через SiteMap Generator, но ничего подобного не было. Ко всему прочему, в Яндексе тоже не наблюдаю подобного. Сначала было с Гуглом, потом заметил с Мэйлом.
Парадокс в том, что в этот чудовишный урл втыкаются имена каталогов, ссылки на которых нет на странице. Т.е. пребывая на странице site.ru/service.html поисковик не сможет узнать про каталоги «rent/commerc/» (ссылок на них просто нет на странице), но он их вставляет в урл.
Все же склоняюсь к мысли, что кто-то сайт криво парсил и поисковик приходит именно с этих помоек.
Скачайне Xenu, как вам выше сказали, и прогоните по сайту. Он вам покажет, если ли страницы.
Возможно, у вас когда-то такая страница была (какая-то такая), а теперь, насколько я понял, сайт открывает сылку site.ru/service.html/images/contacts/rent/commerc/ без 404 или редиректа. Вот они у вас и плодятся.
У меня такое тоже было, тоже год примерно боролся. Пришлось проверять при обращении URL, вырезать ненужное и перенаправлять на правильную страницу.
Все из-за того, что www. example .com/бла-бла-бла-всякий-мусор/page.htlm открывалась так же как и www. example .com/page.htlm
И ошибка-то была на сайте всего несколько часов, а потом сколько сил было угрохано, чтобы ее исправить!
Скачайне Xenu, как вам выше сказали, и прогоните по сайту. Он вам покажет, если ли страницы.
Проверил программой Xenu — ничего не нашел, ни подобных уродливых адресов, ни битых ссылок.
В общем — чудеса.
Короче говоря, прописал в роботс для всех ботов правило:
Disallow: *.html/*
По-хорошему, правило в htaccess нужно прописывать, чтобы редирект срабатывал при посещении страниц вида site.ru/service.html/images/contacts/rent/commerc/ на site.ru/service.html , однако пока ограничусь первым вариантом.