Предполагаю, что на автомобиль ... Я угадал?
Главное - это один раз принять решение, какой домен должен быть главным. И его должны принять вы.
Он для кого? Для людей или для роботов?
"матрасы надувные качество" - 6 запросов в месяц
"матрасы ортопедические вред" - 0 запросов в месяц
"мягкие матрасы детские" - 2 запроса в месяц
"недорогие ватные матрасы" - 9 запросов в месяц
И это со всеми падежами и произвольным порядком слов.
Вы уверены, что понимаете, что делаете?
Это ничем не лучше 404, все равно роботу надо зайти.
А вот это интересная мысль! Работать, безусловно, должна программа и ставить туда урлы убранных товаров хотя бы на неделю. Единственное ограничение - размер robots.txt.
Вы бы лучше сами сначала почитали:
Поэтому да, это запрет на индексацию всего сайта. Если не надо было запрещать, то да, это ошибка.
Зачем ссылку? Вроде и так понятно, все запрещено в robots.txt:
Если не удается понять мануал (читаю по-русски без словаря, но не понимаю), то юзайте сервис http://webmaster.yandex.ru/robots.xml .
Ну так сразу бы и написали.
Вы меня нисколько не удивили. Период обхода сайта роботом может быть и 3-4 месяца. Пока робот весь сайт не обойдет, ясное дело, что страницы будут в индексе.
При чем тут раздел для новичков - непонятно.
Новички, желая удалить сайт из индекса, могут груши околачивать и месяц, и два, вместо того, чтобы повесить robots.txt из двух строчек и решить проблему за 10 дней - это вполне вероятно.
Это бред и бессмысленно. Это нужно программировать на стороне сервера, а не менять через 2 месяца, когда робот соизволит зайти, в Яндекс.Вебмастер показать.
За большое количество 404 не выкинут.
Ищите другое лишнее, что можно закрыть в robots
Если вторая буква любая, кроме цифр, тогда так:
Disallow: /t0
Disallow: /t1
Disallow: /t2
Disallow: /t3
Disallow: /t4
Disallow: /t5
Disallow: /t6
Disallow: /t7
Disallow: /t8
Disallow: /t9
Disallow: /a0
Disallow: /a1
Disallow: /a2
Disallow: /a3
Disallow: /a4
Disallow: /a5
Disallow: /a6
Disallow: /a7
Disallow: /a8
Disallow: /a9
