Сайтмап и роботс

[Удален]
332

Вообщем история такая,сделал я сайт чуть меньше года назад,от балды,на дле, при этом у меня не было не robots.txt и не сайтмапа (указанного в гугл google webmasters) и яндекс . Но сайт успешно проиндексировался и я начал заполнять его,и каким то чудом он начал развиваться,и щас уже почти 10к в день хостов. Так вот,если я создам robots.txt и добавлю sitemap ,то будут сильные изменения и упадет ли сайт в поисковиках или нет? сайт сделан на DLE

PS извиняюсь за глупый вопрос,просто вообще в этом не шарю

A
На сайте с 15.01.2013
Offline
43
#1

Sitemap не помешает, а robots.txt зависит от того как его составите

Сделайте повредить не должно

kodein.anon
На сайте с 11.06.2011
Offline
27
#2

sitemap однозначно не помешает, а вот с robots поаккуратнее. Я бы для начала проанализировал на какие страницы в основном идет трафик, чтобы случайно не закрыть их от индексации. Дубли страниц и прочий мусор можно смело закрывать от индексации при условии что трафик туда не идет. Хуже это не сделает никому.

Естественные dofollow и nofollow ссылки под Google из комментариев в WP блогах. (/ru/forum/823977)
WebAlt
На сайте с 02.12.2007
Offline
263
#3

Служебные страницы в robots.txt запретите (оригинал 10.1 посмотрите), sitemap можно на cron посадить (чтоб не париться, такая возможность есть), не помешает.

Ни чего у вас не упадёт от этого, если индексацию сайта в robots.txt не запретите в полном объёме? ;) Если и упадёт, то только из-за служебных страниц, если на них есть ссылки. Усё индивидуально, пациента ни кто не видит.:)

https://support.google.com/webmasters/answer/156184?hl=ru&ref_topic=8476

http://help.yandex.ru/webmaster/indexing-options/sitemap.xml

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий