- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Коллеги, для одного подшефного сайта обнаружил, что файл robots.txt в индексе Гугла. Ситуация в принципе не уникальна, но несколько напрягает. Ни на одном своем сайте такого не встречал. С чем это может быть связано?
бывает такая ошибка Гоши. Нечасто, но бывает. видно код оригинальный и понравился :)
Если Вы перфекционист, то есть два распространенных способа:
1. запретить СПЕЦИАЛЬНО ДЛЯ РОБОТА ГУГЛЯ индексацию robots.txt в самом же файле типа
2. удалить через панель вебмастера в гугле
Но, скорее всего, через некоторое время robots.txt сам и без всяких усилий вылетит из индекса.
Из истории - Гугл обнулил себе PR, Мэтт Катс одобряэ.
бывает такая ошибка Гоши. Нечасто, но бывает. видно код оригинальный и понравился :)
Если Вы перфекционист, то есть два распространенных способа:
1. запретить СПЕЦИАЛЬНО ДЛЯ РОБОТА ГУГЛЯ индексацию robots.txt в самом же файле типа мда:)
А потом смотреть на такой прикол в выдаче:
site.ru/robots.txt
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
Кстати, а как должна повести себя ПС, если в роботсе запретить роботс?
Думаю лучше срооооочна бежать, пока не произошло восстание машин :D
Коллеги, для одного подшефного сайта обнаружил, что файл robots.txt в индексе Гугла. Ситуация в принципе не уникальна, но несколько напрягает. Ни на одном своем сайте такого не встречал. С чем это может быть связано?
теперь не только в индексе, но и в поиске 😂 robots.txt![]()
но несколько напрягает
забей
Ни на одном своем сайте такого не встречал.
не меньше трех лет наверное как постоянно встречаю такое
забей
Так и сделаю. :) Но по какому принципу гугл закидывает или не закидывают этот файл в индекс? Может только для трастовых сайтов. :D Мы тут голову ломаем как отбирать доноров для покупки ссылок, а тут все элементарно. :))))
Но по какому принципу гугл закидывает или не закидывают этот файл в индекс?
не ищи логику в действиях гугла, вредно для здоровья
читай рекомендации для вебмастеров
и делай всё наоборот! :)
не ищи логику в действиях гугла, вредно для здоровья
читай рекомендации для вебмастеров
и делай всё наоборот! :)
Золотые слова!
Кстати, а как должна повести себя ПС, если в роботсе запретить роботс?
Можно будет сделать запрос на удаление /robots.txt из индэхса. Остальные страницы индексируются так же.
А вот если написать типа Disallow: /sitemap.xml
то в WMT и ЯВМ будет ругань, что-то там про запрет сайтмапа.
Оставлять Disallow: /sitemap.xml не пробовал.
Скорее всего, это происходит если стоят внешние ссылки прямо на robots.txt. Или, если часто открывать с google баром или в google chrome этот файл. А вообще, любой .txt файл может попасть в индекс.
С robots.txt в индексе сейчас полтора миллиона сайтов показывает: inurl:"robots.txt" +filetype:txt . И они действительно отсортированы логично :)