- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Нужен ли файл robots.txt даже если все страницы оставляешь открытыми для индексации? есть ли смысл забрасывать пустой robots.txt?
Не нужен. Нет смысла. Лишь бы на запрос robots.txt ответ 404, тогда точно проблем не будет.
Нужен ли файл robots.txt даже если все страницы оставляешь открытыми для индексации? есть ли смысл забрасывать пустой robots.txt?
Не забывайте также и о том, что при отсутствии robots.txt с соответствующей директивой, ПС могут проиндексировать www.ваш_сайт.ru и ваш_сайт.ru как два разных сайта, изза чего произойдет распыление ссылочной массы. Так что robots.txt с командой host залить не помешает, даже если Вы ничего не закрываете от индексации.
Тогда еще один вопрос: что такая за команда host?
Тогда еще один вопрос: что такая за команда host?
Указывает роботу на основное зеркало сайта.
В поиск, обсуждалось не раз.
Dmitron, а так не пытался?
Первая же ссылка: http://help.yandex.ru/webmaster/?id=996567