- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Без пробела конечно же должно быть. обязательно проверьте после всего, как ведет себя сайт. например, можете указать там не yandex изначально а mozilla - эта строчка содержится в агенте вашего браузера. отсутствие ^ говорит "искать в любом месте строки", а наличие - только строчки, начинающиеся с этих букв. В вашем случае самым безопасным будет без ^ - забанится вообще все, что содержит указанного агента. Правильно в теории будет 404. [f] - это 401 forbbiden. На практике и так и так поисковик не получит то, что ожидает
RewriteEngine on
RewriteCond %{USER_AGENT} Yandex
RewriteRule .* - [R=404]
Вот такое вполне подойдет.
Сайт попал под фильтр ты последний (уже давно), контент полностью уникальный, самописный. В индексе Яндекса было где-то 3 тысячи страниц, но посетителей 0 и сайт не искался даже по урл. Было принято решение закрыть от индексации, закрылось через robots.txt + удаление через удалялку. Через какой-то время сайт выпал полностью, кроем морды, которая висит и дальше (уже очень долго – где-то 2-3 месяца) без тайтла (типа http://site.ru/) с невозможностью просмотреть сохраненную копию.
Не знаю, как удалить сайт из Яндекса. Подскажите, можно ли как-то отдавать только роботам яндекса 404. Возможно, есть какие-то другие способы выкинуть сайт из индекса Яндекса.
Только не отправляйте в поиск, искал, ничего не нашел…
Заранее благодарен.
У меня сайт так весел 1,5 года. Скажу честно для бирж этот вполне нормальный сайт, так как не где яша не говорит, что писсимизировал или забанил. Тиц считается, если обидно, что люди не ходят так если на сайте нужная инфа будут ходить через другие пс, а яша сам себя ….
Только помните, что это все называется КЛОАКИНГ!
Энто почему, клоакинг это подмена контента для робота, здесь же идет запрет для робота, т.ч. никакого клоакинга.
RewriteCond %{USER_AGENT} Yandex
RewriteRule .* - [R=404]
такой вариант не подходит. Сервер отдает 500 и браузер тоже не может зайти.
Яндексу сообщаем код 410 (Удалено)
А что лучше 404 или 410, чтобы быстрее выпасть из индекса?
А что лучше 404 или 410, чтобы быстрее выпасть из индекса?
В робатсе поставь запрет на индексацию сайта Яндексом и не парся - самый простой вариант;)
Пардон добавлю, да 404 как указвали ранее пропиши через PHP так как написано в Faq Яндекса ему нужна именно 404 - нахрена ещё что то изобретать с 410
А что лучше 404 или 410, чтобы быстрее выпасть из индекса?
Я не знаю, что быстрее. Просто в Апаче сообщить код 404, наверное, будет сложнее чем 410.
Сделал так
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Yandex
RewriteRule ^.*$ - [F]
И теперь если удалять через http://webmaster.yandex.ru/delurl.xml и выбирать
сервер должен вернуть код ошибки
Значит, все сделано правильно, робот Яндекса сайта не видет.
О результатах обязательно отпишу позже...
Спасибо всем за ответы и помощь!
простите, но вы пытаетесь решить проблему только техническим путём... вы писали яндексу из панели вебмастера? как показывает практика - это самый быстрый путь разрешения, пока робота обманешь, пока он до тебя дойдёт, а вдруг ещё и не обманется? пишите в техподдержку, могу от себя сказать, что ответы достаточно быстрые и даже если есть пессимизация - после устранения причин - месяц карантина и вы в порядке...