- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем добрый вечер. Дело в том, что я сделал парочку сайтов на WP, которые недавно начали индексироваться в yandex и google. Буквально вчера я заметил что ссылки на статьи имеют очень некрасивый вид, и решил сменить ЧПУ. Вот теперь мне необходимо удалить все ссылки на мой сайт и начать индексировать его заново. На сколько я понимаю мне необходимо сделать файл robots.txt
Пожалуйста напишите точно (символ к символу) каким должен быть файл robots.txt запрещающий индексировать все странницы моего сайта для поисковых систем yandex и google.
Заранее извеняюсь если тема уже была, но в каждой теме пишут по разному. Одни советуют писать так:
User-agent: Yandex
Disallow: /*
User-agent: Googlebot
Disallow: /
Другие так:
User-agent: Yandex
Disallow: /*
User-agent: Googlebot
Disallow: /
Очень надеюсь услышать мнению тех, кто делал такое на практике.
Заранее спасибо!
1) Между User-agent и Disallow не должно быть пустой строки
2) Звездочки в Disallow не нужны.
3) Чтение правил раздела и справки Яндекса помогает сэкономить время.
Не нужно ничего запрещать, это только хуже сделает. Сайт и так со временем переиндексируется, урлы сменятся, а страрые удалятся т.к. будут выдавать ошибку 404
а зачем запрещать полностью?
у меня есть сайт, недавно решил сменить урлы (так было нужно) с латиницы на цифры
просто закрыл категории на латинице в роботсе
...
Я за один АП выкинул старые урлы и добавил новые (на сайте ~ 2К стр.)
почитайте - Использование robots.txt ;)
Maximalist добавил 20.11.2009 в 22:27
Сайт и так со временем переиндексируется, урлы сменятся, а страрые удалятся т.к. будут выдавать ошибку 404
этот вариант не всегда подходит :)