Совершенно верно. Поэтому здесь крайне важно правильно составить robots.txt:
User-agent: *Disallow: /
Вот он где дьявол притаился.
У вас взгляд мудрого человека!
Лишь бы не "металопластиковые окна купить москва". *истово крестится*
Судя по "постановке" "задачи", вы даже не понимаете, чем интерпретируемые данные (html) отличаются от данных, хранимых на сервере (база данных), и как происходит вообще обмен этими данными.
Купите книжку или наймите человека, нет?
Добавьте в Яндекс.Вебмастер - "Сообщить о новом сайте" - и всё. Зачем что-то прогонять по каким-то непонятным твиттерам?
А зачем это делать?
В чём же они разные?
Что такое "морда категории товаров"?
А зачем их снимать? О_о
Какие?
Это похвально!
Логи сервера?
Я бы советовал начать с изучения грамматики. SEO подтянется.
Я бы рекомендовал купить бутылку коньяка "Двин". Это был любимый коньяк Уинстона Черчилля, он его выпивал по бутылке в день, при том, что сам коньяк крепостью был около пятидесяти градусов. Черчиллю этот коньяк отправлялся непосредственно ценной бандеролью из Армении. Потом как-то раз технолога, отвечающего за купаж, сослали по той или иной причине в Сибирь, добывать цЫрконий или типа того. И коньяк спопсился.
Черчилль, получив очередную партию, разлитую под руководством нового технолога, сначала охренел, а потом незамедлительно нажал Пожаловаться Сталину. Сталин вернул нашего старого технолога из Сибири, купаж стал прежним и Черчилль линковал ликовал. Таким образом, коньяк, можно сказать, спас технологу жизнь (ну да это известный баян в кругах ценителей уровня Бардо).
Так вот. Ныне можно купить "Двин", и стоит он плюс-минус в районе 100$ за бутылку (ёмкость которой колеблется плюс-минус в районе 0,5-0,7, цены в регионах разнятся). Поэтому почему бы не взять бутылку этого замечательнейшего коньяку, не выпить её и не обдумать, что сделать с оставшимся 900$?
Я вам ну почти что гарантирую, что при таком раскладе светлая, толковая, созидательная мысль просто не сможет не прийти к вам в голову. Она таки придёт и расскажет, что же вам купить за 800$ (потому что явно нужна будет добавка "Двина"), чтобы оно окупилось и в последствии ещё стопицод прибыли принесло.
