- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
слышал, что robot.txt плохо влияет на едсенс.
Правда ли это?
Решил сделать доброе дело и ответить на этот вопрос.
слышал, что robot.txt плохо влияет на едсенс.
Правда ли это?
Правда. Адсенс от роботсов тошнит :)
А если ничего не запрешать в robot.txt. Написать:
User-Agent: *
Disallow: /cgi-bin/
есть ли смысль кидать роботс?
И, достаточно кинуть в корневую, или недо и в папки, если есть сабдомены?
User-Agent: *
Disallow: /cgi-bin/
есть ли смысль кидать роботс?
Да желательно положить такой роботс, что бы не было 404 ошибки, (мне кажется что 404 ошибки лишний раз напрягают сервер, ИМХО)
И, достаточно кинуть в корневую, или недо и в папки, если есть сабдомены?
На поддомены желательно тоже ложить robots.txt,
по крайней мере на моих поддоменах поисковики его спрашивают и что бы не генерить 404 ошибки я положил в корень субдоменов роботсы
Disallow:
Хотя можно и плюнуть на это, это не критично... :)
слышал, что robot.txt плохо влияет на едсенс.
robot.txt вообще ни на что не влияет
А если ничего не запрешать в robot.txt. Написать:
User-Agent: *
Disallow: /cgi-bin/
есть ли смысль кидать роботс?
И, достаточно кинуть в корневую, или недо и в папки, если есть сабдомены?
Файлы robot.txt поисковиками не используются. Используются файлы robots.txt
Если такого файла в корне не существует, то будут просто писаться ошибки в error.log, то есть файл должен быть хотя бы и пустой. Совершенно не обязательно в нем что-то писать, так как роботы идут сверху вниз по тексту и ищут не разрешения, а запреты. Пустой файл просто обозначает отсутствие запретов.
В папки его класть не нужно - один на весь домен. Даже на запрещенных к индексации страницах адсенс будет работать, но в Вашей учетной записи на странице с ошибками будут отражены недоступные URL.
Вы сами себе противоречите, сначала пишете "ничего не запрещать", а потом пишете запрет на доступ к любым файлам из cgi-bin.
но в Вашей учетной записи на странице с ошибками будут отражены недоступные URL.
Вы сами себе противоречите, сначала пишете "ничего не запрещать", а потом пишете запрет на доступ к любым файлам из cgi-bin.
"недоступные URL" - небыло никогда.
Наверно так
-----------------------
User-agent: *
Disallow: /
-----------------------
"недоступные URL" - небыло никогда.
Наверно так
-----------------------
User-agent: *
Disallow: /
-----------------------
отчеты- диагностика сайта - Заблокированные урл.
Disallow: / - полный запрет индексации всего домена.
Aleks_
А как же разрешать. т.е. не запрешать? :)
Я имел ввиду, что по этому адресу у меня всегда было чисто. Т.е. нет заблокированных урл :)
Aleks_
А как же разрешать. т.е. не запрешать? :)
Я имел ввиду, что по этому адресу у меня всегда было чисто. Т.е. нет заблокированных урл :)
Отсутствие запрета - это разрешение. Пишется только то что запрещено. Если все разрешено, то либо отсутствует robots.txt, либо он пустой внутри, что лучше так как не пишутся ошибки в error.log