- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Суть проблемы: в первых числах августа произошел апдет поисковой выдаче. В Вебмастере яндекса - обнаружил что количество проиндексированных страниц возраслов 1000 раз. Индексируются дубли которых оказалась просто НЕМЕРЯНО. Адреса подобные:
http://site.рф/index.html/snegohody/motowezdehod/snegohody/motowezdehod/snegohody/articles/articles/dokumentacija/motobuksirovshhik_volgar_peredneprivodnyj/motobuksirovshhik_volgar_peredneprivodnyj.html
и так далее.
Платон ответил:
По всей видимости, робот где-то в интернете обнаружил ссылки на подобные адреса и поэтому попытался их проиндексировать, а поскольку страницы были доступны и отдавали контент, они были успешно проиндексированы.
Выяснить, откуда именно роботу стали известны те или иные страницы, не представляется возможным, поскольку нашей в базе просто не сохраняются данные об этом. Со своей стороны могу порекомендовать Вам проверить исходный код доступных страниц сайта на предмет наличия подобных ссылок.
Я замечу, что сайт стоит на чистом HTML уже не первый год...подобного не было, сторонние расширения не ставил. Меня больше интересует, как теперь запретить индексацию страниц начинающихся с index.html/
В роботс прописал:
Disallow: /index.html/snegohody/
поможет?
при переходе на несуществующую страницу какой код отдает сервер?
при переходе на несуществующую страницу какой код отдает сервер?
Страница доступна в яндексе стоит - 200
---------- Добавлено 04.08.2016 в 23:22 ----------
что за ерунда - еще три тысячи страниц в индекс добавились
---------- Добавлено 04.08.2016 в 23:28 ----------
Структура сайта стала:
Страница доступна в яндексе стоит - 200
А может проблема в том, что ваш сервак отвечает 200 на всё?
А может проблема в том, что ваш сервак отвечает 200 на всё?
Да я понимаю что проблема в хостере...но как быть?)
Ну как быть, кричать, что виноват тупой бот, кто же ещё.
Ну как быть, кричать, что виноват тупой бот, кто же ещё.
как правильно закрыть индексацию страниц начинающихся с /index.html?
В роботс прописал:
Disallow: /index.html/snegohody/
поможет?
Не поможет, ваш сайт откликается даже на такие левые url:
и на этой странице уже все ссылки будут с "девочками по вызову" в uri. И в индексе будет ещё +3000 страниц.
У вас роутинг в движке сайта сломался, надо лечить причину, а не пытаться прятать внешние проявления.
Не поможет, ваш сайт откликается даже на такие левые url:
и на этой странице уже все ссылки будут с "девочками по вызову" в uri. И в индексе будет ещё +3000 страниц.
У вас роутинг в движке сайта сломался, надо лечить причину, а не пытаться прятать внешние проявления.
Да нет движка...я же сказал - сайт статичный, чистый html, что лечить и где?
---------- Добавлено 05.08.2016 в 01:17 ----------
Новые папки на сайте нашел...anonymus ftp
и емейлы непонятные в php.ini: john@doe.com
---------- Добавлено 05.08.2016 в 01:29 ----------
Нет, дело не в папках...сайт перезалил. Черт, значит настройки сервера?
Может хакнули? Дор?
Нужно чтобы сервер правильно отдавал коды ошибок HTTP. Никакой robots без этого не поможет.
Хостинг впс или шаред?
Файл .htaccess есть?