- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Мне robots.txt не нужен. Все, что нужно, сделано в .htaccess. Однако, в логах ошибок большинство из ошибок - это сообщения о том, что бот не нашел файл robots.txt. Нужно ли разместить нулевой robots.txt? Понятно, что в логах исчезнут ошибки, т.к. роботы увидят, что robots.txt есть. Однако, правильно ли так делать - размещать robots.txt (0 байт)?
дык... хоть host там пропиши...
Нет, host работает только для яндекса. У меня эта штуковина в .htaccess прописана, как я уже и говорил в предыдущем посте, и выглядит это так:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.site\.dz
RewriteRule ^(.*)$ http://site.dz/$1 [R=301,L]
Это работает для всех роботов, а самое важное, для гугла, т.к. раскрутка сайта и PR -> все направлено на сайт БЕЗ www.
В общем, вопрос, заданный в первом посте, остается открытым.
у меня пустые роботс.тхт стоят.
не знаю как для яндекса, а вот для гугла они ничего плохого не делают. Да и лог ошибок удобней смотреть.
Мне robots.txt не нужен. Все, что нужно, сделано в .htaccess.
Я тоже так раньше думала, пока после переноса на другой хостинг редирект не отвалился и морды в Я не повыпадали :( Потом прописала хост в роботсе.
к кому я привык,
и с кем не надо нагружать язык...
у меня пустые роботс.тхт стоят.
не знаю как для яндекса, а вот для гугла они ничего плохого не делают. Да и лог ошибок удобней смотреть.
Хорошо, тогда пустой файт robots.txt точно размещу. Вот только google adsense перед установкой предупреждал, что robots.txt мешает нормальной индексации страниц. Странно.
Я тоже так раньше думала, пока после переноса на другой хостинг редирект не отвалился и морды в Я не повыпадали :( Потом прописала хост в роботсе.
Party, хорошо, учту на будущее. Если буду менять хостинг, то в роботсе яндекс закреплю, а пока пусть редирект будет - все в порядке - редирект уже несколько месяцев и я нигде не замечал, чтобы появилось в адресе "www.", но на будущее учту.
зачем пустой?
просто напишите
User-agent: *
и хватит :) на половине сайтов так стоит и все ок
Поддерживаю предыдущего оратора :)
Размещать, но не пустой, а разрешающий все всем.
Так и сделаю:
User-agent: *
Я пишу:
# Hello, robots!
И роботам приятнее становится.