- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Собираюсь на одном домене сделать новый сайт (такой же тематики), но уже не парсить контент а писать ручками. Хочу выкинуть весь старый награбленый контент из индекса
Прописал в роботе:
Disallow: /
а он продолжает индексировать. Что делать?
Удалить через WMT.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
Заменить старый контент новым.
Заменить старый контент новым.
100к новостей
а он продолжает индексировать
А почему через .htaccess не попробывали?
Прописал в роботе:
Disallow: /
а он продолжает индексировать
Robots - указание рекомендательного, а не обязательного характера.
Что делать?
Sower выше написал самое простое и эффективное решение. Удаляется за пару дней (удаляйте сразу весь каталог).
Sower выше написал самое простое и эффективное решение. Удаляется за пару дней (удаляйте сразу весь каталог).
Или же несколько строк в .htaccess пропишите, тогда удалять не придется.
Константин Валентинович, на основании юзер-агента/реферера?
Константин Валентинович, на основании юзер-агента/реферера?
Если хотите закрыться от поисковиков, то да. Например:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^.*$ - [F,L]
Можете оставить доступ только себе по IP или поставьте пароль, тогда никто (и боты тоже) не зайдет.
Смотря, какую цель Вы перед собой поставите.
Константин Валентинович, цель вполне конкретная:
Есть вполне конкретный тул для достижения цели:
.htaccess бот может воспринять по-разному - как временную недоступность, как ошибку, как попытку клоакинга и так далее. А нажав кнопку "удалить из индекса" вы однозначно даёте понять, что хотите удалить из выдачи тот или иной материал.
Удаляется он окончательно, или просто чистится из серпов - вопрос другой. Но работает это, повторюсь, очень быстро - день-два и индекс почищен.
Константин Валентинович, цель вполне конкретная:
Есть вполне конкретный тул для достижения цели:
.htaccess бот может воспринять по-разному - как временную недоступность, как ошибку, как попытку клоакинга и так далее. А нажав кнопку "удалить из индекса" вы однозначно даёте понять, что хотите удалить из выдачи тот или иной материал.
Удаляется он окончательно, или просто чистится из серпов - вопрос другой. Но работает это, повторюсь, очень быстро - день-два и индекс почищен.
Удаление в Гугле не совсем корректно работает. Сейчас занимаюсь одним сайтом, так третий месяц вычищаю все старые ссылки. Вроде бы все удалил, через неделю, как грибы другие (несуществующие) появляются.
К тому же, если Вы через этот сервис удалили страницу она через какое-то время вновь будет проиндексирована роботом.
Если доступ запрещен в .htaccess, то сервер ответит: "You don't have permission to access / on this server." (за клоакинг можете не переживать).
А может лучше сделать пересылку на новый сайт?