- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
да и самого веса не будет
Попиарю Ктулху :) Неплохо про robots.txt написано на - http://robotstxt.org.ru/
А вот сам robots.txt там вообще секретный :)
Но при прогоне например по каталогам Тиц ведь начислится ?
з.ы. несколько сайтов долго в индексе не появляются . Может быть из-за дублированного контента ? Если допустим у меня морда уникальная , а весь остальной контент дублированный , то "Я" проиндексирует хотя-бы морду ?
Если допустим у меня морда уникальная , а весь остальной контент дублированный , то "Я" проиндексирует хотя-бы морду ?
Скорее всего нет. Думается мне, что он применит какие-нибудь хитрые санкции. Ну не любит Яндекс дубли, что делать.
User-Agent: Yandex
Disallow: /a*
Disallow: /b*
......
Disallow: /z*
C вас тысячу за консультацию! 500 мне и 500 Каширину, я у него первую сточку "скопипастил". :)
Не правильно ;) Пицот баксов уходят мне ;) Потому что
1. * не работает и в данном случае - избыточна.
2. ваш вариант не блокирует /12.php :p
User-Agent: Yandex
Disallow: /index.php
Тоже не верно. Потому что вы не закрыли страницы типа /dir/ и исходите из предположения, что все страницы сайта есть index.php с параметрами, а топикстартер явно написал, что их - большинство , то есть не все! ;)
Еще пицот баксов уходят мне :p
вы не закрыли страницы типа /dir/ и исходите из предположения, что все страницы сайта есть index.php с параметрами
А откуда Вам стало известно о моих предположениях? Если задача состоит в написании универсального robots.txt, запрещающего Яндексу индексацию всех страниц сайта кроме главной, то, может быть Вы огласите правильное решение для всего множества всевозможных URL?
User-Agent: Yandex
Disallow: /a
Disallow: /b
......
Disallow: /z
Disallow: /0
Disallow: /1
...
Disallow: /9
и перечислить все остальные символы, которые могут быть в имени файла или директории. robots.txt будет не очень большой, эти 36 строк уже закроют 99.9% всех возможных случаев.
Файлы с кириллическими именами, на китайском языке и т.д. в расчет не берем :).
Файлы с кириллическими именами, на китайском языке и т.д. в расчет не берем
В реальности мало кто создает сайты соответсвующие стандартам, и роботы вынуждены следовать за людьми, чтобы проиндексировать их творчество.
Kost, а если у меня главная страница на фреймах сделана, и еще я хочу чтобы картинки с главной страницы тоже в индекс попали?
Запретить
index.php?
Именно со знаком вопроса.
Ну и вообще взять максимальное количество первых символов адресов запрещаемых страниц, не забывая, что параметры после ? могут иногда меняться местами (если движок не очень ровный или просто так получилось ;).
А откуда Вам стало известно о моих предположениях?
Не обижайтесь, коллега. Ваши предположения видны из вашего кода :)
Правильный вариант смотрите у Kost выше.