- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день уважаемые форумчане, подскажите, а вообще гугл смотрит на файл robots.txt или он ему по барабану, дело в том, что было нужно исключить дубли страниц, всё ненужное заклюил в роботсе, яндекс все прочел и исключил нежелательные страницы, а вот GooGle игнорировал роботс и прохавал все чего не надо было хавать..
такая же ситуация) гугл жрет все, что видит) ппц)
А сколько времени прошло с момента изменения роботс?
google жрет все подряд, но через несколько дней все закрытое в роботс остается в омитед серч резалтс. Ждите
Команда disallow: запрещает обращение робота к странице, но не исключает ее из индекса, если она там была.
Пользуйтесь <meta name="robots"> для удадения из индекса. Еще, как вариант, команда noindex: в robots.txt, признается только Google.
Команда disallow: запрещает обращение робота к странице, но не исключает ее из индекса, если она там была.
так в том то и дело, что с начала был созда роботс, а потом сайт начал заполняться информацией...
Пользуйтесь <meta name="robots"> для удадения из индекса. Еще, как вариант, команда noindex: в robots.txt, признается только Google.
Можно мануал какой нить???
Команда disallow: запрещает обращение робота к странице, но не исключает ее из индекса, если она там была
Сдрасте, приехали
И вам добрый вечер :)
Согласен с вами, неоднократно видел такого рода "глюки", когда Google начинал индексировать страницы, находящиеся в robots.txt. Но спешу вас уверить такое случается крайне редко.
Как дополнительный вариант можете использовать параметр rel="canonical" для борьбы с дублями. Не знаю поможет ли это в вашей ситуации, но тем не менее...
Спасибо за внимание.
Команда disallow: запрещает обращение робота к странице, но не исключает ее из индекса, если она там была.
Исключает.
яндекс все прочел и исключил нежелательные страницы, а вот GooGle игнорировал робот
Не допускаете, что robots написан неправильно? Покажите.
а вот GooGle игнорировал роботс и прохавал все чего не надо было хавать..
надо радоваться, что Гугл по ftp пока не индексирует :)
Тож сталкивался с ситуацией, когда в индекс попадал неготовый сайт. Если такое происходит - то про "бонус новичкам" можно забыть...