- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
У.... Сделал новый сайт. Сразу же поставил robots.txt
User-agent: *
Disallow: /
И что Вы думаете, ради интереса, сегодня, решил проверить, кем он проиндексирован, и к моему удивлению, нашел его в Google & Yahoo!
Google: http://www.google.com/search?&q=allinurl:www.konstantinivanov.info/+site:www.konstantinivanov.info
Google search: http://www.google.com/search?hl=ru&q=konstantinivanov&lr=
Yahoo: http://search.yahoo.com/search?ei=UTF-8&p=site%3Awww.konstantinivanov.info
Как бы информация вроде не заиндексировалась, но ведь ссылка-то есть. По названию домена он находится. Как это понимать?
Disallow: / - это значит не индексировать все, что лежит глубже www.name.zone/
www.name.zone как Вы понимаете лежит выше...
Выходит Яндекс и буржуйский поисковики по разному толкуют "/". Я-то думал, прочитав Яндекс, что запрещается все, включая корень, цитриую:
User-Agent: *
Disallow: /
который запрещает индексирование всего сайта.
Источник: http://www.yandex.ru/info/webmaster2.html#HostDirective
Disallow: / - это значит не индексировать все, что лежит глубже www.name.zone/
www.name.zone как Вы понимаете лежит выше...
Это где написано? Полнейший бред.
Тут все прввильно:
User-agent: *
Disallow: /
Проблема в другом
Точно вводят в заблуждения. Вот и у Google накопал:
User-agent: Googlebot
Disallow: /
http://www.google.com/webmasters/remove.html
Как запретить индесацию ВСЕГО сайта или части страниц в Гогль-Могле?
Я, конечно, потом пущу его в Гугьль, но не весь. А если он мне ВсЕ проиндексируют, то это просто караул! Почитал форуМ, этот поисковик часто игнорирует disallow. Что делать-то?
кэша то нет. это просто адрес
<meta Name=robots Content="noindex, Nofollow, Noarchive">
самую первую оферту заставляет подписывать Ms . при выходе в сеть они предупреждают "сведения...... будут доступны...." и как говорится "кто не спрятался, я не виноват" :)
стандарт один, и работать по нему должны все боты
первоисточник тут: http://www.robotstxt.org/wc/exclusion.html#robotstxt
Ну как вариант: просто не выдавать контент для User-Agent'ов.
Клоакинг простой, но надежный.
Нарушения стандарта никакого нет. Стандарт запрещает обращение робота к определенным документам, а не публикацию ссылок на них в результатах поиска. Надо различать эти вещи. Обращения к файлам не было - кэша ведь нет, а появление ссылки обусловлено тем, что URL найден по ссылкам с других документов, обращение к которым разрешено. Всё корректно.