- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет!
Расскажу о причине, которая побудила меня создать данную тему.
Рассчитываю на дельный совет от знающих.
Новый сайт, на момент тестирования был закрыть от индексации.
По завершению тестирования добавлен в панель веб-мастера, вместе с sitemap.xml.
Перед добавлением сайта в веб-мастер панель, был залит заранее подготовленный и учитывающий все возможные фильтры, сортировки и проверенный в той же панели robots.txt
Но вот сегодня меня постигло разочарования, когда в дополнительном индексе я увидел все те страницы, которые тщательно хотел уберечь от индексирования, дабы не допустить появления дубликатов.
Это что же получается Google игнорирует инструкции robots.txt, у кого есть какие соображения по этому поводу?
Nktzz, у меня в роботсе мусор закрыт + в WMT добавлял на удаление, периодически по pr-cy мониторю индексацию, бывает выплюнет ровно то, что под запретом, через несколько часов возвращает. Вот и пойми его...
Всем привет!
Расскажу о причине, которая побудила меня создать данную тему.
Рассчитываю на дельный совет от знающих.
Новый сайт, на момент тестирования был закрыть от индексации.
По завершению тестирования добавлен в панель веб-мастера, вместе с sitemap.xml.
Перед добавлением сайта в веб-мастер панель, был залит заранее подготовленный и учитывающий все возможные фильтры, сортировки и проверенный в той же панели robots.txt
Но вот сегодня меня постигло разочарования, когда в дополнительном индексе я увидел все те страницы, которые тщательно хотел уберечь от индексирования, дабы не допустить появления дубликатов.
Это что же получается Google игнорирует инструкции robots.txt, у кого есть какие соображения по этому поводу?
выкладывайте роботс.тхт ваш, и то что вы на самом деле хотите закрыть. может вы в этом роботсе допустили ошибки.
на своем опыте знаю. такое не исключено
User-agent: *
Disallow: /index.php?route=
Disallow: /*route=
Disallow: /index.php?_route_=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Host: carmusicshop.com.ua
Sitemap: http://carmusicshop.com.ua/sitemap.xml
---------- Добавлено 05.07.2012 в 21:47 ----------
выкладывайте роботс.тхт ваш, и то что вы на самом деле хотите закрыть. может вы в этом роботсе допустили ошибки.
на своем опыте знаю. такое не исключено
выложил, посмотрите пожалуйста со стороны
Закрыть хотел страницы вида:
/?sort=p.price&order=DESC
/?limit=0
и т.п.
Замечено в последнее время неоднократно, страницы запрещенные в роботсе пару месяцев успешно ранжируются. Даже панель ВМТ уже не помогает. Сайты хорошо индексируемые, не многостраничные. Достал по полной уже гугля.
Nktzz,
Line 5 Disallow: /*?sort=
The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar (Eg. Googlebot).
Вот что пишет проверка Вашего роботса.
Nktzz,
Line 5 Disallow: /*?sort=
The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar (Eg. Googlebot).
Вот что пишет проверка Вашего роботса.
хм.. это где вы проверяете?
бывает и такое часто , гугл шалит по полной
Nktzz, ссылка но лучше в помощи гугла почитайте способ интересней описывается как проверить ссылка
User-agent: *
Disallow: *route=*
Disallow: /*sort=*
Disallow: *order=*
Disallow: /*limit=*
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Host: site.com.ua
Sitemap: http://site.com.ua/sitemap.xml
может привести к такому виду? хотя как по мне это просто упрощение предыдущего варианта...
Nktzz, должны работать как и /*?sort= так и /*sort=*