Все вопросы по robots.txt

Чтобы было как вы хотите добавьте <meta name="robots" content="noindex, follow"> на страницы ?page=, убрав dissalow из роботса. Либо просто оставьте запрет в роботс.тхт, а страницы с новостями добавьте в карту сайта. Вообще способов указать роботу страницы для индексации масса. Например вручную в поиске для сайта от Яндекса.

---------- Добавлено 12.03.2014 в 13:36 ----------

Вы неверно понимаете.

Нужно закрыть все страницы Где встречается: ?id=1

делаю так: Disallow: /*?id=1

Но он закроет и 11 и 12 итд...

как закрыть только 1?

подскажите плиз

ebitok, конец строки обозначает знак $

точно, уже и сам нашел) но все равно спасибо

Подскажите, пожалуйста, по таком вопросу. на сайте нужно запретить индексацию страниц с фильтрами и сортировкой (filter,min,max,sort)

страницы могут иметь вид

catalog.html?cat_id=12&filter=s125i15;s1256i145&min=123&max=1256

или

telefonyLG?filter=s125i15;s1256i145&min=123&max=1256

при этом страницы catalog.html?cat_id=12 должны индексироваться

можно мне прописать в robots.txt

User-agent: *

Allow: /*?cat_id=

Disallow: /*?*

или как-то так

Disallow: /*&filter=*

Disallow: /*&min=*

Disallow: /*?filter=*

Disallow: /*?min=*

так лучше. или еще можно яндексу clean-param, гуглу в вебмастере указать ненужные параметры.

Ребят, Гуру, подскажите, пожалуйста, я просто сделать невозможное, сам своими руками убрал из индекса страницы разделов. Около 42 страниц. Яндекс их выкинул потому, что я накосячил с robots.txt

Подскажите, как их быстро можно вернуть в индекс или остается только ждать?

ps перелинковку внутреннюю в рассчет не беру, так как разделы хорошо перелинкованы и с морды ссылки есть в разделы.

ps увидел, что сделал глупость только потому, что позиции просели прилично.

postavkin твитером прогоните все страницы, желательно с парочки аккаунтов. Да, и не забудьте подправить роботс :)

Здравствуйте, как должен выглядеть файл robots.txt для одностраничника - лендинга сделанном на html ?

Во всех генераторах у меня выдает только такую строку User-agent: * Но еще говорят там нужно для яндекса отдельно его прописать?

и закрыть ненужно от индексации?

У меня например в корне только файлы: index.html, favicon.png, папка images, папка js, папка css

как мне правильно составить robots ?

И еще второй вопрос: тематика лендинга - разработка мобильных приложений, посоветуйте, я собираюсь продвигать через sape. По каким запросам лучше это делать в первый месяц НЧ или ВЧ и с каком количестве?

И сколько примерно нужно вкладывать денег на первый-второй месяц? ну и последующие

Спасибо!

Пофиг, лендинг делается не для поискового трафика. ☝

деньги на ветер