где ошибка в robots.txt

имхо, нужно 301 - самый жестокий, но надежный сповоб в теории, но не на практике ;)) буквально на днях стал свидетелем склейки абсолютно разного контента на разных поддоменах на одном сайте

но зачем в бутылку лезть ? какая Вам разница на какой урл ходят www.site.ru или site.ru ?

При заходе на dot.com в роботсе пишем следующее

User-agent: *

Host: dot.com

Disallow: /dot/

При заходе на www.dot.com ставим роботс следующем

User-agent: *

Host: www.dot.com

Disallow: /

Реализация легкая перенастройка сервера чтобы он понимал по HTTP запросу какой роботс показывать, дело 5 минут.

Dahak, вы стандарт читали? http://www.robotstxt.org/wc/exclusion-admin.html

🚬 Расскажите мне, где я там ошибку по стандартам сделал, научите уму разуму глупого мальчишку.

С Уважением.

Dahak, зачем, откройте http://www.clockwatchers.com/robots_tool.html например.

ОФФ ТОП - простите

Как посмотреть кто мне про директиву хост в репу написал ??

Ответ FlyAway

Так robots надо писать для всех поисковиков и для Яндекса в том числе или Вы этого не учитываете ?

Спасибо за отзыв в репутации очень мило с Вашей стороны 🤣, отлупили мальчишку просто так.

Dahak, я Вас не лупил, это раз. Так а зачем, другим поисковикам отдавать Host, если они её не понимают, Host пишется после Disallow: /, это два. Disallow: / - запрет корня т.е. всего сайта, это три...

При заходе на www.dot.com ставим роботс следующем

User-Agent: *
Host: www.dot.com
Disallow: /

бред в данной ситуации.

1. Хост пишется после юзвер агента

2. Все верно это запрет на индексацию www.dot.com

3. Автор данной ветки спрашивал как решить проблему разделения сайтов dot.com и www.dot.com - этот в донном случае лучше из индексации вообще убрать, тем более автору он там не нужен, так как продвижение идет по dot.com.

Имхо Вы очень не правы по отношению к моему посту.

Dahak, я с Вами не собираюсь спорить, т.к. это бесполезно, учите матчасть.

Спасибо за совет, сегодня начну читать книги и найму репетитора.

Удачи Вам )