- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ребята помогите разобраться!
Уже третий раз, после обновления данных, в панели вебмастера на Яндексе. У меня пишит что загружено всего 2 страницы. И есть 2 ошибки.
Смотрю сводку по ошибкам, там пишется что док-ты запрещены к индексации. Как раз именно 2 загруженные страницы - главная страница и ещё одна. Но проблема в том что они не запрещены в Роботсе.
Вот собственно сам Robots.txt :
User-Agent: Yandex
Disallow: /shop/
Disallow: /kupitut.php?my=1&
Disallow: /baner/
Disallow: /geometry/
Disallow: /hmsms/
Disallow: /image/
Disallow: /jpisms/
Disallow: /lib/
Disallow: /libs/
Disallow: /narodsms/
Disallow: /sky/
Disallow: /skyform/
Disallow: /sms/
Disallow: /sms_chat/
Disallow: /smsbox/
Disallow: /smsmusic/
Disallow: /test/
Disallow: /tmp/
Host: smstut.ru
Тоесть запрещены только определённые папки, а главная и другая страницы находятся в корне.
Да и при проверке на Анализаторе Robots.txt показывается все правельно.
Помогите разобраться в чём дело:confused:
Зарание всем спасибо за внимание.
> там пишется что док-ты запрещены к индексации
Как именно пишет? Запрещены в роботсе или просто запрещены?
Походу вас прибанили
может, если роботс генерится - не до конца отдается и какойнить путь вместо /tmp/ превращается в / ?
Вот собственно сам Robots.txt
Да и при проверке на Анализаторе Robots.txt показывается все правельно.
А сам файл на сервере случаем не с большой буквы назван?
spanchbob, когда я попробовал добавить странички вашего сайта в аддурилку, она начала через раз говорить, что время ожидания истекло, документ не доступен. Попробуйте поискать причину в этом.
Как именно пишет? Запрещены в роботсе или просто запрещены?
Походу вас прибанили
нажимаем на просмотр ошибок:
А сам файл на сервере случаем не с большой буквы назван?
нет, на серваке написано с маленькой буквы
когда я попробовал добавить странички вашего сайта в аддурилку, она начала через раз говорить, что время ожидания истекло, документ не доступен. Попробуйте поискать причину в этом.
А что нужно сделать чтобы поискать причину ?
нажимаем на просмотр ошибок:
У меня такая же ситуация на забаненном сайте - как будто у них свой роботс с запретом /
Сам роботс правильный.
На скринах в правом нижнем углу есть ребята, которые вам поточнее ответят, может быть
А так походу бан (я б прибанил)
spanchbob, когда я попробовал добавить странички вашего сайта в аддурилку, она начала через раз говорить, что время ожидания истекло, документ не доступен. Попробуйте поискать причину в этом.
А что нужно сделать чтобы поискать причину ?
Проверить все ли в порядке с хостингом и структурой сайта.
Проверить все ли в порядке с хостингом и структурой сайта.
Да с хостом вроде всё нормально, да и структура сайта простейшая, около 100 страниц и все они находятся в корневеке. Все старницы нормально перелинкованы.
Да с хостом вроде всё нормально, да и структура сайта простейшая, около 100 страниц и все они находятся в корневеке. Все старницы нормально перелинкованы.
Возможно все же не все нормально. Проверил ваш сайт роботом-краулером, часть страниц он обозначил как 404 ошибку. Вот список.
http://smstut.ru/smsstihi.html
http://smstut.ru/smsprikol.html
http://smstut.ru/sms47.html
http://smstut.ru/pro_simbols.html
http://smstut.ru/pro_codes.html
http://smstut.ru/smsmusic/wav/19990.wav
http://smstut.ru/fun/?stmod=rea&stgenre=34
http://smstut.ru/smssend.php
http://smstut.ru/sendsms.php
http://smstut.ru/upgtf.html
Браузер обычно позволяет себе более ресурсоемкие процессы чем краулер. Вполне возможно что браузером ваши страницы всегда открываются, а краулер получает нормальный ответ только через раз.