- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайты состояшие преимущественно из html. Запретов на индексацию чего либо не нужно, хотя можно и сказать роботу не лазь в папку с графикой, но возится не охота. Стоит ли по всем доменам распихать robots.txt типа
User-agent: *
#Hello
Я так и не пришел к определенному мнению.
Статьи читал.
На мой взгляд, если этот служебный файл не нужен для решения каких-то целей - не нужно его и класть. Не знаю никаких аргументов за то, чтобы помещать его просто для того, чтобы он был.
Когда-то давно было, что если в корне не лежит robots.txt, то спайдер индексировать сайт не будет.
Сейчас можно спокойно и без него.
Так что беспокоиться не из-за чего. Хочешь ставь, хочешь нет.
🚬
Я придерживаюсь противоположного мнения.
Если закрывать ничего не надо, положите пустой файл или
User-agent: *
Disallow:
что есть одно и то же.
Я придерживаюсь противоположного мнения.
Ваша аргументация, сэр? :)
Простите, что встрял :)
Во-первых, это стандарт, а стандарты надо уважать. Во-вторых, очень часто бывает ситуация, когда робот, частенько бывает у забугорных, понюхав роботс и получив 400, разворачивается и уходит. В-третьих, ну это уже только мой опыт, закрывать всегда найдется что.
Простите, что встрял :)
Не простим, потому-что не за что даже и сердиться... :) Это же классно - услышать столько разных уважаемых мнений. :)
Убедительно!
Но остаютя вопросы...
1. Этот стандарт где-то озвучен или просто негласное общепринятое решение?
2. Это уже посерьезнее... только что бегло глянул свои логи - вроде бы нет таких ситуаций... у кого какой еще опыт? Весьма интересно! :)
3. Почему же, если простой статический сайт, то там не до этого. :)
Не нужна тут никакая аргументация - достаточно утверждения, что robots.txt не мешает :) ...
Это Ваше личное мнение, имеющее право на жизнь ровно настолько же, насколько и мое. :) Так что вопросы, по-прежнему, в силе. :)
Только больше запутался:D
Если рассуждать логически...то можно придти к любому выводу. Смотря что взять за основу.
Например.
Допустим что 95% сайтов не содержат robots.txt
Поискови просто не могут их игнорировать или ущемлять.
Значит robots.txt не нужен.
А вообще мало свежей инфы и статьи в основном староваты.
несколько моих сайтов не имеют robots.txt
Тем не менее исправно и регулярно индексируются.
ЗЫ Также исправно они ищут favicon.ico.
Речь идет о гугле и наших "трех китах".
За остальными не слежу.