дело в том что и движок не знаю, знаю только что на php вроде, не wp точно, и что редактор tinymce
пытался найти сайты на tinymce , глянуть типовые решения robots.txt и не нашел (
про канонические ссылки и редиректы буду смотреть
собственно сайтмэп создается для борьбы с дублями, достаточно ли пока закрыть их(свои дубли знаю) например Disallow: /site.com/duble1
и убрать предыдущий список с фтп кроме cgi-bin,чтоб не создать проблем, тк вопрос какие из них не нужны для меня пока открыт
"сайтмэп создается для борьбы с дублями" - извините, но это ерунда. Для борьбы с дублями чистят движок, чтобы он их не генерил, прописывают канонические ссылки, иногда даже ставят редиректы. Закрыть в роботс мало - нужно и на сайте закрыть, а лучше прописать канонические - если это возможно.
Если у вас стандартный движок - посмотрите, что закрывают владельцы сайтов на том же движке, так проще сориентироваться при отсутствии опыта.
Xoma_204: Так почему показывает разные цифры???????????????
Если вы хотите узнать точный ответ на данный вопрос - вам следует написать на форум Google для вебмастеров, где изучат ваш сайт, ваш акк в инструментах и выдадут полную информацию, если пожелают, конечно.
Если не охота тратить время на ерунду - развивайте сайт. ВСЕГДА не совпадает кол-во проиндексированных, кол-во в карте, кол-во в выдаче и т.д.
Flipbut: 1На что влияет если прописывать User-agent: * для всех роботов а не для yandex и google отдельно ?
2Вобщем переписал структуру с фтп всех директорий и файлов, cgi-bin точно запретить, а как с остальными, например в паблик есть img и imga там фото, какие оставить и не запрещать, не знаком со структурой, поэтому и спрашиваю, чтоб нужное не запретить
3 По sitemap , почему его архивируют или прячут в другие директории от чужих глаз?
Всем заранее спасибо, за ответы по существу !
1. Для тех случаев, если вам нужно запретить что-то в яндексе, но не запрещать в гугле или наоборот
2. Не нужно закрывать все, что есть на фтп - иконки, скрипты, стили (.ico, .css, .js). Иконка favicon.ico, например, выводится в результатах поиска в Яндексе.
Нужно запрещать страницы, которые генерирует движок и которые не нужно отправлять в индекс, включая страницы регистраций, напоминания пароля и т.п.
Т.е. нужно четко понимать что запрещать, а что нет, как запрещать и для чего.
3. Архивируют часто для того, чтобы карта занимала меньше места, либо такая особенность движка. Место расположения так же не всегда зависит от желаний владельца сайта )) Но некоторые и прячут - чтобы никто, кроме поисковиков не мог ее найти :)
Например вот эти
http://exive.com.ua/category/featured
exive.com.ua/2008/09
это скорее всего архив и популярные, но они выдают - 404 ошибку
архивы я обычно закрываю
exive.com.ua/shop/?orderby=date
эти нужно закрыть обязательно
И подскажите, плиз, сайт на вордпрессе, как мне добавить в код каждой такой страницы эту строчку?
либо искать плагины подходящие, но вряд ли они подойдут для столько тщательной настройки, либо к программистам
Не думаю, что дело в перелинковке, хоть она и некачественная. Нужно смотреть ресурс
Дубли бывают разные. Постраничная навигация - не дубль и закрывать ее от индексации не нужно! Сортировку нужно закрывать на сайте:
<meta name="robots" content="noindex, nofollow" />
и в robots.txt
Покажите пример "загадочной товарной категории"
Из индекса они пропадут далеко не сразу. Хотите ускорить - можно удалить страницы из кеша в инструментах вебмастеров.
В инструментах вебмастеров есть сообщения о мерах, принятых вручную?
Вы можете написать здесь ответ? Не могу просмотреть видео.
Ответ я расписала в этой теме подробно еще до конференции :)
дело в том что и движок не знаю, знаю только что на php вроде, не wp точно, и что редактор tinymce
пытался найти сайты на tinymce , глянуть типовые решения robots.txt и не нашел (
про канонические ссылки и редиректы буду смотреть
хотите - отправьте url в личку, я посмотрю
собственно сайтмэп создается для борьбы с дублями, достаточно ли пока закрыть их(свои дубли знаю) например Disallow: /site.com/duble1
и убрать предыдущий список с фтп кроме cgi-bin,чтоб не создать проблем, тк вопрос какие из них не нужны для меня пока открыт
"сайтмэп создается для борьбы с дублями" - извините, но это ерунда. Для борьбы с дублями чистят движок, чтобы он их не генерил, прописывают канонические ссылки, иногда даже ставят редиректы. Закрыть в роботс мало - нужно и на сайте закрыть, а лучше прописать канонические - если это возможно.
Если у вас стандартный движок - посмотрите, что закрывают владельцы сайтов на том же движке, так проще сориентироваться при отсутствии опыта.
Первого скрина не видно.
----------
Первый скрин у ТС просто с пробелом: http://s020.radikal.ru/i719/1311/80/93d72985330a.png
Так почему показывает разные цифры???????????????
Если вы хотите узнать точный ответ на данный вопрос - вам следует написать на форум Google для вебмастеров, где изучат ваш сайт, ваш акк в инструментах и выдадут полную информацию, если пожелают, конечно.
Если не охота тратить время на ерунду - развивайте сайт. ВСЕГДА не совпадает кол-во проиндексированных, кол-во в карте, кол-во в выдаче и т.д.
1На что влияет если прописывать User-agent: * для всех роботов а не для yandex и google отдельно ?
2Вобщем переписал структуру с фтп всех директорий и файлов, cgi-bin точно запретить, а как с остальными, например в паблик есть img и imga там фото, какие оставить и не запрещать, не знаком со структурой, поэтому и спрашиваю, чтоб нужное не запретить
3 По sitemap , почему его архивируют или прячут в другие директории от чужих глаз?
Всем заранее спасибо, за ответы по существу !
1. Для тех случаев, если вам нужно запретить что-то в яндексе, но не запрещать в гугле или наоборот
2. Не нужно закрывать все, что есть на фтп - иконки, скрипты, стили (.ico, .css, .js). Иконка favicon.ico, например, выводится в результатах поиска в Яндексе.
Нужно запрещать страницы, которые генерирует движок и которые не нужно отправлять в индекс, включая страницы регистраций, напоминания пароля и т.п.
Т.е. нужно четко понимать что запрещать, а что нет, как запрещать и для чего.
3. Архивируют часто для того, чтобы карта занимала меньше места, либо такая особенность движка. Место расположения так же не всегда зависит от желаний владельца сайта )) Но некоторые и прячут - чтобы никто, кроме поисковиков не мог ее найти :)