- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте.
В индекс Google залезло содержимое файла robots.txt.
Чревато ли это страшными последствиями (игнор директив из robots.txt)? Просто Google индексирует многое из того, что запрещено в этом файле. Yandex индексирует сайт нормально (хотя изредка проскакивает и здесь).
Подозреваю, что Google просто не воспринимает robots.txt должным образом.
Нужно ли исправлять ситуацию? Если да, то как это сделать?
Подозреваю, что Google просто не воспринимает robots.txt должным образом.
Проверьте
В FireFox - зайдите в информацию о странице, тип должен быть text/plain
Расслабьтесь http://www.google.ru/search?q=inurl%3A%22com%2Frobots.txt%22
еще как-то так можно.
В FireFox - зайдите в информацию о странице, тип должен быть text/plain
Проверил. Стоит text/plain.
По поводу того, что Google индексирует миллионы таких же файлов: приятно, конечно, что не мне одному так плохо :) Но влияет ли это на индексацию каким-то образом?
Чревато ли это страшными последствиями
Подозреваю, что Google просто не воспринимает robots.txt должным образом.
как это сделать?
забаньте ботов гугля в .htaccess и "страшных" последствий не будет, в чем вопрос..🙄
забаньте ботов гугля в .htaccess и "страшных" последствий не будет, в чем вопрос..🙄
Лучший ответ :)
Только мне бы ещё и трафик с Google хотелось бы поиметь.. А потому, оставим такое решение на самый крайний случай..
Но влияет ли это на индексацию каким-то образом?
Не может влиять
P.S.: Обратите внимание как креативно Гугл подошел к составлению тайтлов для robots.txt 😂
Не может влиять
P.S.: Обратите внимание как креативно Гугл подошел к составлению тайтлов для robots.txt 😂
Вроде картина ясна. Спасибо всем за внимание.