Все вопросы по robots.txt

Приветствую!

Помогите решить проблему - в панеле Я.Вебмастер появилось сообщение о том, что сайт полностью запрещен к индексации в файле robots.txt. Проверка в панеле показывает, что нужные страницы открыты для индексации. Однако, сообщение о том, что сайт запрещен к индексации не пропадает и сегодня вылетело огромное количество страниц с поиска.

Подскажите, что не так в файле.

Сайт на OpenCart.

Заранее спасибо!

Всем привет :)

Нужно запретить от индексации несколько языковых локализаций в роботсе.

ЮРЛ'ы имеем вида:

site.ru/?lang=en

site.ru/?lang=de

site.ru/?lang=ru

Кто сталкивался, кто знает? Спасибо.

User-agent: *

Disallow: /?lang

Всё просто

Извиняюсь за глупый вопрос, но чтобы окончательно, т.е.:

User-agent: *

Disallow: /?lang=en

Disallow: /?lang=de

Я правильно понял?)

Т.к. мне не ответили - ещё раз спрошу, может кто потратит 1 минуту своего времени чтобы помочь.

Как сделатьправильно без повторений агента, но с сохранением смысла код:

СЕЙЧАС:

# Added by SEO Ultimate's Link Mask Generator module

User-agent: *

Disallow: /go/

# End Link Mask Generator output

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Как объединить и лишний Агент выкинуть?

Всё что дальше Lang будет закрываться, Не нужно писать 100 раз разных языков

По поводу агентов, для чего вы это пытаетесь сделать ?

В Яндекс вебмастере пишет рекомендацию что лучше повтор Агента убрать. На индексацию пока никак не влияет, но всё же.

Полезно.спасибо хд))

Подскажите, что делать, если Яндекс.бот дидосит сайт несколько раз в минуту вот такими запросами:

130.193.50.27 - - [16/May/2016:07:58:27 +0300] "GET /?id=21%2Fpage%2F5%2Fpage%2F14%2Fpage%2F10%2Fpage%2F11%2Fpage%2F9%2Fpage%2F7%2Fpage%2F11%2Fpage%2F15%2Fpage%2F12%2Fpage%2F2%2Fpage%2F7%2Fpage%2F15%2Fpage%2F3%2Fpage%2F9%2Fpage%2F13%2Fpage%2F13%2Fpage%2F13%2Fpage%2F9%2Fpage%2F11%2Fpage%2F6%2Fpage%2F8%2Fpage%2F14%2Fpage%2F3%2Fpage%2F5%2Fpage%2F9%2Fpage%2F3%2Fpage%2F12%2Fpage%2F15%2Fpage%2F3%2Fpage%2F13%2Fpage%2F5%2Fpage%2F4%2Fpage%2F8%2Fpage%2F10%2Fpage%2F9%2Fpage%2F10%2Fpage%2F11%2Fpage%2F12%2Fpage%2F3%2Fpage%2F6%2Fpage%2F9%2Fpage%2F5/page/15 HTTP/1.1" 403 2021 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

IP меняются, но все принадлежат Яндексу.

Ответ от саппорта яндекса: Чтобы робот не посещал такие страницы, лучше установить запрет в Вашем robots.txt, например, вида "Disallow: *page*page*", такие запросы прекратятся в течение суток.

Мой robots.txt

User-agent: Yandex

Crawl-delay: 180



User-agent: *

Disallow: *page*page*

Прошла неделя, бот продолжает долбить. Сейчас я его временно забанил через .htaccess

Что можно сделать, подскажите? и в чем причина такой странной активности?

geelv1, например сделать правило:

Disallow: /?

например:

User-agent: Yandex

Disallow: /?

Crawl-delay: 180

при условии что по /?id= нет важных страниц) ну или как сказали в помощи яндекса, тогда:

User-agent: Yandex

Disallow: /*page*page*

Crawl-delay: 180

---------- Добавлено 16.05.2016 в 15:39 ----------

Бред, по User-Agent'у Яндекса нет никаких запретов.