- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем, привет. Подскажите пожалуйста. Есть такая проблема, яндекс индексирует не нужные страницы, и не нужные каталоги. Как заставить яндекс индексировать только то что надо. Пытался сделать robots.txt но он все равно индексирует. Вот как я написал robots.txt:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /page
Disallow: /2009
Disallow: /2010
Disallow: /skoro
Host: oskartv.ru
Заранее спасибо, с нетерпением жду ваших комментариев))
p.s. сайт на движке dle. и яндекс индексирует даже не существующие каталоги например http://мой_сайт/komedy/page/6/dokum
oskartv, ждите переиндексации страниц и разделов. Т.к. робот яндекса немного тормознут, для него можете прописать отдельные правила, с использованием директивы user-agent.
Если хотите помочь ему ускорить процесс, поудаляйте ненужные каталоги, закрытые в роботсе, через данную форму.
p.s. сайт на движке dle. и яндекс индексирует даже не существующие каталоги например http://мой_сайт/komedy/page/6/dokum
Выдумать он ничего сам не может, и проиндексировать. Значит просто ранее что то размещалось по этому адресу, и ещё не удалилось из поисковой базы.
Спасибо) я понимаю что не сразу, просто у меня никогда даже не было таких каталогов, и прошло уже недели четыре, за это время должно было переиндексировать.
Пропишите отдельно дерективы для Яндекса
User-Agent: Yandex
Disallow: (что запрещаем к индексации)
Host: (основное зеркало сайта)
Понял попробу. Это как я понял ниже вписать? Спасибо за совет))
oskartv выше.
Сначала пишутся персонализированные правила для ботов ПС, а потом общие.
понял, спасибо Powerbiz.
Понял попробу. Это как я понял ниже вписать? ...
Новички, ну если соблюдать пунктуацию - сложно, а буквы пропускаются из-за того, что мысль бежит вперед - это ладно. Но названия тем ("Яндекс индексируте не нужные страницы") хотя бы не без ошибок, так хоть по смыслу делайте читабельными.
Ну не все же кандидаты в науки 😂 Но замечания принял. Учту)
Host: oskartv.ru
http://мой_сайт/komedy/page/6/dokum
Не палимся :D
http://yandex.ru/yandsearch?date=&text=&site=http%3A%2F%2Foskartv.ru%2Fkomedy%2Fpage%2F6%2Fdokum&rstr=-&zone=all&wordforms=all&lang=all&within=0&from_day=&from_month=&from_year=&to_day=&to_month=&to_year=&mime=all&numdoc=10&lr=157
Нажимаем на сохраненную копию. С чего вдруг вы обозвали страницу "несуществующей"?
Disallow: /*print
Правильно будет
Disallow: /имя каталога/print
кандидаты в науки
это что за зверь такой?)
ps. насчет орфографии на самом деле есть замечательное средство) см.подпись