Кто должен заниматься Robots.txt ?

Настраивать, однозначно, должен web-мастер. Тот, кто разрабатывает сайт, а не тот, кто его оптимизирует и продвигает.

PEPEL, какой ты нафиг сеошник, если составить роботс не можешь. Наверное, просто маркетолог.

Я бы не наезжал на него. Составить-то он его, наверное, может. Вопрос в другом: входит ли это в его обязанности (по договору) и платят ли ему за это деньги? Дело не в том - "могу/не могу", а в том, на кого эта обязанность возложена и в чью зону ответственности при разработке сайта входит (и кто будет отвечать за последствия).

kimberlit

Я не только сеошник, я ещё и веб-мастер. Внимательно почитайте всё написанное в первом посте. Был бы у меня полный доступ или будь бы это какая-нибудь популярная CMS, например joomla или wordpress и проч., то я бы вообще не парился, сбросил бы им весь роботс. Но просто тут вопрос стоит иначе совсем. Не могу ли я это сделать, а в чьи обязанности это входит и кто в дальнейшем должен нести ответственность например, если личные данные попадут в индекс Яндекса и прочее.

SkyKiller

Именно это я и имел ввиду. Спасибо.

Вебмастер может быть и не в курсе нюансов составления этого файла. Его способности как бы в php, html, mysql и другие технарские вопросы. Составить он может, но проверить его и внести коррективы (тот же Host) всё-таки нужно. И ответственность лежит больше на том кто продвигает, как мне кажется.

Договор для чего? Пропиши, что за роботс ответственности не несу и продвигай спокойно сайт с Disallow: / или с другим косяком.

Я думаю в данном случае нельзя распределить правильно, тут скорее нужна слаженность в действиях и компромисс, чтобы потом не пихать друг на друга, когда сайт не будет продвигаться должным образом!

kimberlit

По поводу корректив вы правы, например, как убрать Disallow: с папки images, чтобы изображения начали попадать в индекс поисковых систем, внести Host: и Sitemap: , но тем не менее, по моему мнению, изначально он должен быть составлен вебмастером, а в свою очередь сеошник должен придать ему нужную форму отталкиваясь от своих целей, которые мог не учесть вебмастер.

Но вопрос стоит немного иначе, вебмастер упирается рогом и говорит, что "настраивать robots.txt это не его задача и что связи между robots.txt и CMS он лично не видит"

Speaker19

С вами я согласен именно, поэтому я проанализировал существующий robots.txt состоящий из 6 строк я решил немного погуглить и наткнулся на более полноценные варианты. Постучал к разработчикам, мол может нужно его дополнить согласно внутренней файловой архитектуре CMS? В ответ же получил от них вообще отворот поворот, мол, что это вообще не их задача.

составление роботс как правило не в ходит в ТЗ вебмастера. Любой сеошник должен начинать продвижение с корректировки роботса.. я скорее за второе

И он как бы прав. CMS - это управление контентом, а роботс - это взаимодействие с ПС.

Много раз работал с веб-мастерами, которые понятия не имеют, что такое robots.txt. Создание robots.txt лежит на плечах сеошника, я так считаю.