- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет, ребята!
У меня сайт плохо индексируется...
Стал разбираться почему. Познакомился вот с программой (сабж). Классная вообще програмулина, бодро бегает по сайтам! Но вот по этому - никак.
Сразу с главной она пишет: forbidden request, т.е. запрещено запросу.
Я думал. =D
Приказал браузеру не брать куки вообще. Заходит. Страница показывается.
Проверял http заголовки, вроде ок.
С robots.txt это вряд ли связано. Пока теряюсь в догадках.
Т.е. Пока не понятно что да как, но тема встречается не только у меня. Ругаться на программу пока не думаю. По другим сайтам бегает хорошо.
Вопрос: где копать? Почему может затыкаться программа и может быть такой же затык у роботов?
Странно что в вебмастере 0 страниц в индексе, но на самом деле он кое где встречается по запросам. С чем это может быть связано подскажите!
Проверьте вручную кол-во страниц в поиске запросом site:domain.com, вебмастер может показывать не точные данные, или вообще глючить.
В панелях как гугла, так и яндекса можно ошибки просмотреть - если что-то не так на сайте, то там это будет видно. А Ксенус может отдавать ошибки совсем по другим причинам, к примеру, блокироваться хостером по юзер агенту, или создавать много одновременных подключений, и тоже блокироваться хостером по этой причине. Можно попробовать уменьшить кол-во потоков до 1-3.
Спасибо за быстрый и компетентный ответ!
Гугл неплохо индексирует сайт. А вот яндекс-вебмастер действительно глючит. И мне кажется какраз по той же причине, по которой я не могу запустить Xenu...
А что именно пишет яндекс? Вот здесь http://webmaster.yandex.ru/server-response.xml можно посмотреть как роботы яндекса видят сайт. И вот тут хороший сервис http://www.bertal.ru/index.php
Если джумла, копайте в sh404SEF, если VPS|VSD аналогичная проблема была с настройками ngnix