- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Запретил в роботсе, индексировать /shop* , ибо там полный дубль сайта просто с корня.
Прошло два апа после, в загружено роботом уже 13т страниц, в поиске 500, хотя на сайте реальных как минимум 1700, такая цифра была после первой-второй индексации.
Это нормально что загружено роботом не учитывает роботс.тхт
То,что запрещено в роботс.тхт, не присутствует в поиске.Но загружается роботом.
После одного,двух Апов?Ждите еще.
То,что запрещено в роботс.тхт, не присутствует в поиске.Но загружается роботом.
Это так ошибочно и упрощенно формулируется в Яндекс.Вебмастере. На самом деле, то что запрещено, роботом не загружается. Просто про эти урлы робот знает, он может их посчитать.
понятно спасибо
Запретил в роботсе, индексировать /shop* , ибо там полный дубль сайта просто с корня.
Прошло два апа после, в загружено роботом уже 13т страниц, в поиске 500, хотя на сайте реальных как минимум 1700, такая цифра была после первой-второй индексации.
Это нормально что загружено роботом не учитывает роботс.тхт
Не совсем понятно что вы имели в виду, поэтому вопросы:
1. Сколько страниц у вас имеется на сайте (по данным системы управления)
2. Сколько страниц в Яндекс.Вебмастер:
а. загружено роботом
б. страниц в поиске?
Не совсем понятна пунктуация:
Это вопрос или утверждение? Пишите знаки препинания.
О файле robots.txt и его работе подробно описано здесь.
Вероятно, вам нужно будет запретить индексацию на сайте для каждой страницы. Если у вас имеется шаблон, то в теге <head> нужно прописать:
<meta name="robots" content="noindex, nofollow">
Кроме того, вы можете отдавать на сайт 404 ошибку. Тем самым поисковая система при переиндексации автоматически уберёт страницу.
Вероятно, вам нужно будет запретить индексацию на сайте для каждой страницы.
Это еще зачем? Это провокация?
стерто.......