- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайты состояшие преимущественно из html. Запретов на индексацию чего либо не нужно, хотя можно и сказать роботу не лазь в папку с графикой, но возится не охота. Стоит ли по всем доменам распихать robots.txt типа
User-agent: *
#Hello
Я так и не пришел к определенному мнению.
Статьи читал.
На мой взгляд, если этот служебный файл не нужен для решения каких-то целей - не нужно его и класть. Не знаю никаких аргументов за то, чтобы помещать его просто для того, чтобы он был.
Когда-то давно было, что если в корне не лежит robots.txt, то спайдер индексировать сайт не будет.
Сейчас можно спокойно и без него.
Так что беспокоиться не из-за чего. Хочешь ставь, хочешь нет.
🚬
Я придерживаюсь противоположного мнения.
Если закрывать ничего не надо, положите пустой файл или
User-agent: *
Disallow:
что есть одно и то же.
Я придерживаюсь противоположного мнения.
Ваша аргументация, сэр? :)
Простите, что встрял :)
Во-первых, это стандарт, а стандарты надо уважать. Во-вторых, очень часто бывает ситуация, когда робот, частенько бывает у забугорных, понюхав роботс и получив 400, разворачивается и уходит. В-третьих, ну это уже только мой опыт, закрывать всегда найдется что.
Простите, что встрял :)
Не простим, потому-что не за что даже и сердиться... :) Это же классно - услышать столько разных уважаемых мнений. :)
Убедительно!
Но остаютя вопросы...
1. Этот стандарт где-то озвучен или просто негласное общепринятое решение?
2. Это уже посерьезнее... только что бегло глянул свои логи - вроде бы нет таких ситуаций... у кого какой еще опыт? Весьма интересно! :)
3. Почему же, если простой статический сайт, то там не до этого. :)
Не нужна тут никакая аргументация - достаточно утверждения, что robots.txt не мешает :) ...
Это Ваше личное мнение, имеющее право на жизнь ровно настолько же, насколько и мое. :) Так что вопросы, по-прежнему, в силе. :)
Только больше запутался:D
Если рассуждать логически...то можно придти к любому выводу. Смотря что взять за основу.
Например.
Допустим что 95% сайтов не содержат robots.txt
Поискови просто не могут их игнорировать или ущемлять.
Значит robots.txt не нужен.
А вообще мало свежей инфы и статьи в основном староваты.
несколько моих сайтов не имеют robots.txt
Тем не менее исправно и регулярно индексируются.
ЗЫ Также исправно они ищут favicon.ico.
Речь идет о гугле и наших "трех китах".
За остальными не слежу.