- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Собираюсь на одном домене сделать новый сайт (такой же тематики), но уже не парсить контент а писать ручками. Хочу выкинуть весь старый награбленый контент из индекса
Прописал в роботе:
Disallow: /
а он продолжает индексировать. Что делать?
Удалить через WMT.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
Заменить старый контент новым.
Заменить старый контент новым.
100к новостей
а он продолжает индексировать
А почему через .htaccess не попробывали?
Прописал в роботе:
Disallow: /
а он продолжает индексировать
Robots - указание рекомендательного, а не обязательного характера.
Что делать?
Sower выше написал самое простое и эффективное решение. Удаляется за пару дней (удаляйте сразу весь каталог).
Sower выше написал самое простое и эффективное решение. Удаляется за пару дней (удаляйте сразу весь каталог).
Или же несколько строк в .htaccess пропишите, тогда удалять не придется.
Константин Валентинович, на основании юзер-агента/реферера?
Константин Валентинович, на основании юзер-агента/реферера?
Если хотите закрыться от поисковиков, то да. Например:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^.*$ - [F,L]
Можете оставить доступ только себе по IP или поставьте пароль, тогда никто (и боты тоже) не зайдет.
Смотря, какую цель Вы перед собой поставите.
Константин Валентинович, цель вполне конкретная:
Есть вполне конкретный тул для достижения цели:
.htaccess бот может воспринять по-разному - как временную недоступность, как ошибку, как попытку клоакинга и так далее. А нажав кнопку "удалить из индекса" вы однозначно даёте понять, что хотите удалить из выдачи тот или иной материал.
Удаляется он окончательно, или просто чистится из серпов - вопрос другой. Но работает это, повторюсь, очень быстро - день-два и индекс почищен.
Константин Валентинович, цель вполне конкретная:
Есть вполне конкретный тул для достижения цели:
.htaccess бот может воспринять по-разному - как временную недоступность, как ошибку, как попытку клоакинга и так далее. А нажав кнопку "удалить из индекса" вы однозначно даёте понять, что хотите удалить из выдачи тот или иной материал.
Удаляется он окончательно, или просто чистится из серпов - вопрос другой. Но работает это, повторюсь, очень быстро - день-два и индекс почищен.
Удаление в Гугле не совсем корректно работает. Сейчас занимаюсь одним сайтом, так третий месяц вычищаю все старые ссылки. Вроде бы все удалил, через неделю, как грибы другие (несуществующие) появляются.
К тому же, если Вы через этот сервис удалили страницу она через какое-то время вновь будет проиндексирована роботом.
Если доступ запрещен в .htaccess, то сервер ответит: "You don't have permission to access / on this server." (за клоакинг можете не переживать).
А может лучше сделать пересылку на новый сайт?