vetiver

Рейтинг
217
Регистрация
14.04.2011
Normal person
sPoul:
Вы видимо не понимаете. В файле на один поисковик лучше всего делать один блок инструкций.

Sitemap: http://www.wwww.su/sitemap.xml

---------- Добавлено 12.06.2016 в 13:58 ----------

Но в данном случае, коль скоро регэкспы в Disallow Вы не используете - это совершенно не нужно.

я вот тоже пытаюсь обьяснить, что у человека их два, а он говорит - один).. файл может и один, да в нем два блока для всех поисковиков и каждый отличается инструкциями))

блок начинается с user-agent...

это полный текст файла

я понимаю, но у вас обе части для всех поисковиков-.User-agent: *. и в каждой разные инструкции..

сделайте один роботс для всех с теми инструкциями которые вам нужны.. например , как показали выше - sPoul

там есть все что вам нужно.. и запреты и сайтмап и хост..и указан User-agent - для всех, а если хотите каждому поисковику дать разные инструкции, то указывайте конкретный User-agent.- например Yandex итд

Алеандр:
Либо он попал туда "до" того как вы закрыли в robots, либо ваш robots составлен некорректно.
Либо у вас составной документ и такой подход не применим.

<noindex> должен помочь. Еще бы гугл его не игнорировал.

<meta name="robots" content="noindex, nofollow">

не?

---------- Добавлено 12.06.2016 в 12:08 ----------

Serebro2009:
Нет, я что-то не думаю, что я где-то мог ошибиться.

User-agent: *
Disallow:
Crawl-delay: 4
Host: wwww.su
Sitemap: http://www.wwww.su/sitemap.xml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /noindex/

Документы находятся в папке noindex, в вебмастере пишет что данный документ исключен из выдачи, но...

у вас обе части роботс составлены для всех поисковиков?(User-agent: * )может какая то для одного, какаято для другого??

vodiaPRO:
Есть рост, хоть и не большой...
Минимальный рост - тоже рост)

да надо в разрезе месяц смотреть..если 1 го было 100 уников , а тридцатого уже 110-120. то можно говорить что рост.. линию провести от и до и смотреть картину.. а на волнах прогноз бесполезен

Polonoid:
что-то по всем проектам траф просел на 5-15%

тоже самое.. даже более чем на 10-15% ((

пичаль

сегодня в основном минус.. пару дней назад был небольшой рост..

каждый день - туда-сюда

вчера трафик в плюс.. сегодня в минус...

да, вроде есть такое дело

тоже сайт один уплыл полностью.. посмотрел последние два дня - запросы фиг знает какие - остюда качество трафика.. а сегодня так и вообще выпал из выдачи.

Mr_Paxan:
sidorka, Совершенно верно, трафик задрочен.

так свойственно для адалта))

Всего: 1921