- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Яндекс упорно не желает индексировать один из моих клиентских сайтов - уже 3 апдейта прошло.
Столкнулась с таким впервые. Обычно у меня с индексацией проблем не бывало...
Через addURL добавляла, ссылки с жирных морд для пинка ставила. В общем, все известные мне ухищрения попробовала. Глухо!
В настоящий момент Яндекс проиндекстровал 12 ссылок с морд на этот сайт, а сам сайт не видит, хоть убейся.
Мне и в голову не приходило, что клиент может что-то намутить с robots.txt
Однако же сегодня (с отчаяния) проверила...
И опа!..
При попытке вызвать файл robots.txt происходит редирект на главную. Доступа по ФТП не имею, то есть посмотреть код не могу. Но, похоже, там стоит редирект через javascript или что-то похожее.
Гуру, пожалуйста, подскажите: в этом, скорее всего, и причина того, что сайт не индексируется?
Как я понимаю, бот Яндекса прежде всего ищет файл robots.txt
Находит (лучше бы не находил...) - его отфутболивает на главную. Робот грязно ругается - и уходит... Я правильно понимаю ситуацию?
...
(А я пошла покупать шмайсер. Мочить таких клиентов надо!)
Как я понимаю, бот Яндекса прежде всего ищет файл robots.txt
Находит (лучше бы не находил...) - его отфутболивает на главную. Робот грязно ругается - и уходит... Я правильно понимаю ситуацию?
А почему не спросить у самого Яндекса, как он видит файл robots.txt: http://www.yandex.ru/cgi-bin/test-robots?host=
Timen, спасибо большое за ссылку. Что-то я сама про нее не вспомнила...
Но ситуация запуталась еще больше. Яндекс возращает 404-ю. Значит, роботса нет. А есть редирект с 404-й на главную. Это, вроде бы, не может быть причиной проблем с индексацией.
...
Кажется, шмайсер понадобится мне - чтобы застрелиться...
Вы взялись продвигать не проиндексированный сайт?
Может он в баньке давно парится?
Lys, начать продвижение, не посмотрев даже на robots.txt? 😂 😂 😂 😂 😂 Ну да, ну да... Морды рулят и пробьют любой баг 😂 😂 😂 😂
А отключить javascript в браузере и посмотреть-таки robots?
А Вы посмотрите по адресу любой несуществующей страницы. Скорее всего результат будет такой же, как и с robots.txt даже и с оключенным javascript.
Если при запросе robots.txt выдается 404 код ответа, то для робота это значит, что файл robots.txt отсутствует и никаких ограничений нет.
P.S. Шмайсер Вам не нужен RTFM
Сайт клиента другие поисковики(в лице рамблера, Google) как индексируют?
Посмотрите историю сайта http://web.archive.org/web/*/http://www.site.ru
Взгляните на логи.
Яндекс упорно не желает индексировать один из моих клиентских сайтов - уже 3 апдейта прошло.
Это вовсе не срок. О проблемах можно начинать говорить, после 2-х месяцев (если конечно не начинать сразу интенсивную работу.)
При попытке вызвать файл robots.txt происходит редирект на главную. Доступа по ФТП не имею, то есть посмотреть код не могу. Но, похоже, там стоит редирект через javascript или что-то похожее.
Это скорее всего кривой обработчик 404 ошибки. Настоен так, чтое сли файла нет, то редирект на морду.
Гуру, пожалуйста, подскажите: в этом, скорее всего, и причина того, что сайт не индексируется?
Т.к. файл роботс.тхт - это набор РЕКОМЕНДАЦИЙ для робота, то яша конечно-же пытается его получить, получает неверный формат, и вощем не сильно понимает что с ним делать. Но это не может служить проблемой индексации всего остального
Но, похоже, там стоит редирект через javascript или что-то похожее.
Откуда такое предаоложение??? Чаще всего отдается HTML с
meta http-equiv="REFRESH" content="морда". Если бы был JS, то Вам бы крупно повезло, ибо яша ее просто игнорит.
(А я пошла покупать шмайсер. Мочить таких клиентов надо!)
Не очень Верю, чтобы клиент Вам насильно такой сайт вручил.
Мне и в голову не приходило, что клиент может что-то намутить с robots.txt
Однако же сегодня (с отчаяния) проверила...
И опа!..
Извените, но это говорит даже не о неопытности, а о делетанстве....
Вам будет хороший урок, как начинать общаться с клиентом.
FTP, доступ к логам, доступ к настройкам сервера, - это нужно требовать сразу, при этом сразу менять все пароли, чтобы никто другой не ползал там. В простивном случае, лучше просто отказаться.
HTTP заголовки проверяли? Там все нормально?
Статистика посещений ведется? Посмотрите суточную по часам. Там можно заметить, если есть, период времени с нулевой посещаемостью. Если таковой имеется возможно сайт в это время не работает.
Сайт может менять контент в зависимости от свойств пользователя? Например контент на разных языках.
FTP, доступ к логам, доступ к настройкам сервера, - это нужно требовать сразу, при этом сразу менять все пароли, чтобы никто другой не ползал там. В простивном случае, лучше просто отказаться.
Можно успешно продвигать сайт не имея ни какого доступа к нему.
Что бы сделать какие либо изменения на сайте достаточно толково написать рекомендации что нужно сделать.
А менять пароли вообще хамство по отношению к клиенту. И это не остановит клиента. В конце концов владелец сайта может обратится в саппорт хостинга за восстановлением паролей.
А "лазить" по сайту должен технический саппорт сайта...
Спасибо, T.R.O.N, в общем-то разобралась...
В Гугле и Рамблере сайт проиндексирован. Значит, зря я веник мочила на клиента.
Все же еще нужно подождать...