- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Можно ли удалить сайт из индекса Яндекса и не допустить его следующей индексации без использования файла robots.txt?
Поставить на все страницы
<meta name="robots" content="noindex, nofollow"> ;)
Можно ли удалить сайт из индекса Яндекса и не допустить его следующей индексации без использования файла robots.txt?
ТС, используйте форму - http://webmaster.yandex.ru/delurl.xml
Поставить на все страницы
<meta name="robots" content="noindex, nofollow">
страниц около тысячи... это на каждую надо ставить?
и робот больше не зайдет?
Cyrax добавил 07.05.2009 в 09:21
ТС, используйте форму - http://webmaster.yandex.ru/delurl.xml
Нет оснований для удаления. Сервер не возвращает код 404 и URL не запрещен в файле robots.txt.
Я же говорю без файла robots.txt
Cyrax, если на сайт есть внешние ссылки, то гарантировать его вылет из индекса затруднительно. Если вопрос чисто в роботс.txt, то есть вариант сделать редирект в .htaccess'е либо, действительно, изменять код страниц.
Робот зайдёт, но, согласно инструкции, не станет индексировать страницу (в бытовом понимании).
Или Вы хотите сделать так, чтобы выкинуть сайт из индекса, не трогая его? За внешние факторы не банят, иначе бы вместо продвижения все занимались зачисткой топа от конкурентов.
вы можете запретить индексацию роботами по юзер-агенту и через htaccess
используйте форму - http://webmaster.yandex.ru/delurl.xml
Этого будет достаточно для удаления сайта? :)
Жесткий запрет посещений нашего веб-сайта для робота поисковой системы Google
RewriteCond %{USER_AGENT} Googlebot
RewriteRule .* - [F]
# Другой вариант возвращает вместо ошибки 403 ( FORBIDDEN ) ошибку 404 ( NOT _ FOUND )
RewriteCond %{USER_AGENT} Googlebot
RewriteRule .* - [R=404]
та легче всего через роботс
а почему вы хотите без этого файла?
конкуренция высока?
а это вообще Ваш сайт? или конкурентов? ;)
Выбить из индекса - поставить 301 редирект с основного на зеркало. Далее поставить пароль на доступ к контенту сайта.