В панели вебмастера Яндекса есть специальная функция, для проверки robots.txt
http://webmaster.yandex.ru/site/robots.xml
Там можно загрузить файл и проверить после этого урл-ы на доступность.
По-умолчанию можно считать, что в конце каждой строки в Robots.txt добавляется символ "*", который означает "любое количество любых символов".
Соответственно, конструкция
Disallow: /catalog
включает в себя и перекрывает
Disallow: /catalog/
и закрывает все вложенные каталоги и файлы, в том числе и
/catalog/stranica.html
Моя субъективная рекомендация: если есть бюджет, то лучше поручить задачу специалисту. Неопытный человек может спустить все деньги и при этом не только не продвинуть сайт, но и загнать его далеко и глубоко.
Специалист сдерёт себе жирный кусок, зато и спрос с него соответствующий.
Зависит от тематики и региона.
На мой взгляд, за месяц можно успеть продвинуть только самые мелкие НЧ, а такими набить 1к посещаемости крайне проблематично для большинства тематик и регионов. Но если бюджет позволяет...
Неужто сгоряча пообещали заказчику к Новому Году 1000 человек?)) Когда первый раз пошёл в офис работать, тоже по неопытности наобещал посещалки, а потом пришлось за свой счёт покупным трафом подгонять значения))
Интересная постановка вопроса...
Вместо обычных в таких случаев: "Как забанить гада?", "Кому писать: Платонам или хостеру?", "Где найти недорого киллера?", Вас почему-то беспокоят санкции со стороны гугла...
Если Ваш сайт уже полностью проиндексирован, то скорее всего клон долго не проживёт. Хотя бывают редкие случаи, когда сайты склеиваются не в пользу первоисточника.
А с продвижением проблемы есть? Т.е. если всё хорошо, то лучше ничего не трогать. Имхо.
А вот если есть сомнения, то можно в качестве эксперимента на время убрать новости, или просто скрыть от индексации и понаблюдать месяц-другой и по статистике делать выводы.
Мне понравилось! Это прямо установка на трудовой день)) Сделал SEO - гуляй смело))
По сабжу: работы по внутренней оптимизации сайта необходимо проводить до индексации. А внешнее продвижение, соответственно, начинать после индексации. Это если говорить в общих чертах.
Всё ещё жду "вскоре"... 2 недели, как отключены сайты и 2 недели, как нет ответа на мой запрос в техподдержку.
До этого было пять лет безукоризненного! сотрудничества. И я был полностью доволен качеством хостинга и уровнем обслуживания. А тут прямо какая-то чёрная полоса!
Разочарован...
Простите, не понял, о каком запросе идёт речь?
В техподдержку неделю назад отправлен запрос с той же информацией, что я предоставил здесь.
Запрос в техподдержку от 2-го октября номер 15877.
Оплатил 4 домен, денежку взяли, факт оплаты подтвердили, а первого числа все 4 сайта легли.
При этом хостинг продлился без проблем.
Мне бы хотелось получить обратно свои деньги, поскольку за неделю простоя сайты выпали из индекса и полностью утратили свою значимость.