- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
слышал, что robot.txt плохо влияет на едсенс.
Правда ли это?
Решил сделать доброе дело и ответить на этот вопрос.
слышал, что robot.txt плохо влияет на едсенс.
Правда ли это?
Правда. Адсенс от роботсов тошнит :)
А если ничего не запрешать в robot.txt. Написать:
User-Agent: *
Disallow: /cgi-bin/
есть ли смысль кидать роботс?
И, достаточно кинуть в корневую, или недо и в папки, если есть сабдомены?
User-Agent: *
Disallow: /cgi-bin/
есть ли смысль кидать роботс?
Да желательно положить такой роботс, что бы не было 404 ошибки, (мне кажется что 404 ошибки лишний раз напрягают сервер, ИМХО)
И, достаточно кинуть в корневую, или недо и в папки, если есть сабдомены?
На поддомены желательно тоже ложить robots.txt,
по крайней мере на моих поддоменах поисковики его спрашивают и что бы не генерить 404 ошибки я положил в корень субдоменов роботсы
Disallow:
Хотя можно и плюнуть на это, это не критично... :)
слышал, что robot.txt плохо влияет на едсенс.
robot.txt вообще ни на что не влияет
А если ничего не запрешать в robot.txt. Написать:
User-Agent: *
Disallow: /cgi-bin/
есть ли смысль кидать роботс?
И, достаточно кинуть в корневую, или недо и в папки, если есть сабдомены?
Файлы robot.txt поисковиками не используются. Используются файлы robots.txt
Если такого файла в корне не существует, то будут просто писаться ошибки в error.log, то есть файл должен быть хотя бы и пустой. Совершенно не обязательно в нем что-то писать, так как роботы идут сверху вниз по тексту и ищут не разрешения, а запреты. Пустой файл просто обозначает отсутствие запретов.
В папки его класть не нужно - один на весь домен. Даже на запрещенных к индексации страницах адсенс будет работать, но в Вашей учетной записи на странице с ошибками будут отражены недоступные URL.
Вы сами себе противоречите, сначала пишете "ничего не запрещать", а потом пишете запрет на доступ к любым файлам из cgi-bin.
но в Вашей учетной записи на странице с ошибками будут отражены недоступные URL.
Вы сами себе противоречите, сначала пишете "ничего не запрещать", а потом пишете запрет на доступ к любым файлам из cgi-bin.
"недоступные URL" - небыло никогда.
Наверно так
-----------------------
User-agent: *
Disallow: /
-----------------------
"недоступные URL" - небыло никогда.
Наверно так
-----------------------
User-agent: *
Disallow: /
-----------------------
отчеты- диагностика сайта - Заблокированные урл.
Disallow: / - полный запрет индексации всего домена.
Aleks_
А как же разрешать. т.е. не запрешать? :)
Я имел ввиду, что по этому адресу у меня всегда было чисто. Т.е. нет заблокированных урл :)
Aleks_
А как же разрешать. т.е. не запрешать? :)
Я имел ввиду, что по этому адресу у меня всегда было чисто. Т.е. нет заблокированных урл :)
Отсутствие запрета - это разрешение. Пишется только то что запрещено. Если все разрешено, то либо отсутствует robots.txt, либо он пустой внутри, что лучше так как не пишутся ошибки в error.log