Тут урл'ы по маске закрыты.
Так, тоже будет запрещен для индексации.
Сейчас на сайте такого метатега нету.
Впредь будь осторожнее с оптимизицией сайта. 🚬
Это пример дубля страницы форума на вбулетине. Смотрите какие урлы с дублями генерирует ваш сайт и закройте их по этому принципу.
После знака "=" нечего не ставит т.к. по умолчанию подразумевается "=*".
/ru/forum/493216
Чтоб закрыть дубль, запрещаем параметр &highlight:
Disallow: /*highlight=
может эти страницы выдают код 404?
Не легче и не лучше, это не правильно.
В robots просто закройте дубли по маске и все.
Год назад сайт попал под бан, сейчас смотрел - в аддурилке добавляется. Даже в панели вебмастера, хотя раньше и она ругалась что запрещен к индексации. Это можно расценивать как выход из под бана яндекса?
Самое лучшее видео которое я видел в своей жызни.
Чтото не понятно, у вас страницы выпали из индекса или они обрамлены тегом noindex?
А robots вообще тут не причем. :)
Яндекс и не должен нечего писать, это его директива, а вот гугл будет ругаться. Но в принципе это не важно, он ее просто проигнорирует. Директиву Аллоу убирите, она там не к чему, и по стандартам яндекса запрещены наличия пустых переводов строк между Дисаллоу директивами.
Статистика с морды на жабе, пользы для СЕО от ние никакой. В целом слабовата оптимизация, за то форум шустреникий, грузиться оперативно плюс приятный диз.
