- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день всем! Просто караул!
Есть у меня на сайте директория /news, в которой лежат файлы *.php, который формируют новости, для внедрения их в основные страницы сайта.
До этого я никогда не пользовался файлом robots.txt, а тут обнаружил, что Яндекс проиндексировал ВСЕ страницы с директории, где установлены скрипты, то есть всю директорию /news.
Среди этих страниц много таких, которые скажем мягко, выглядят очень непривлекательно если на них зайти по ссылке с Яндекса.
Вчера я написал robots.txt типа
User-Agent: *
Disallow: /news
и удалил эти страницы из индекса. (Послал запрос вечером - сегодня их уже нет!)
Так вот, проблема в следующем: количество посетителей сократилось в несколько раз! Оказывается, что 90% посетителей заходили на мой сайт через файлик example.php, который как
раз и лежал в директории скрипта. Он ничего не выполнял, но просто он ТАК понравился Яндексу!!! Что теперь делать то? Как одновременно заперетить индексировать всю директорию, но разрешить индексировать только один этот файл? Спасибо.
Придется перечислить все не нужные страницы. Или перенести нужную в другую директорию.
Придется перечислить все не нужные страницы. Или перенести нужную в другую директорию.
Эх...Я думал что можно исключить одно из другого! Это что ж - опять придется ждать около месяца пока Яка проиндексирует то что нужно? Обратной процедуры никакой нет? :(
К сожалению, я о такой возможности не знаю. На самом деле, вовсе не обязательно что месяц. Перенесите нужную страницу и добавьте ее через ADDURL, скорее всего черзе неделю-две появится.
Эх-эх-эх...Что же я наделал.
У меня же напрямую зависит ЗП от посетителей!
Сам же себе и перекрыл воздух. За сегодня пришло 5 посетителей! Ужас.
Ничего не понял по строению вашего сайта, но пара советов.
Выделите те страницы или разделы сайта, которые реально содержат контент и могут быть полезными посетителям. Остальное запретите.
Директивы в robots.txt не могут ничего разрешать - только запрещать. Поэтому вам придется запретить все страницы, которые не надо отдавать роботу.
http://www.google.com/robots.txt
Allow: /searchhistory/ - что должно подразумевать?