- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый вечер уважаемые форумчане. Прошу уделить мне минутку вашего времени.
У меня проблема с robot.txt. В яндекс ваебмастер пишет что загружено роботом 196
исключено роботом 124 страницы. Я так понимаю что исключенные страницы не попадают в индексацию? что делать ? в чем может быть проблема ?
Заранее спасибо.
А посмотреть почему страницы исключены трудно? Это могут быть и 404 ошибки и ограничения в robots.txt. Там же все написано.
Смотрел только не понял где зачем и почему.
Прошу не судить строго. Если не трудно дайте ссылку где все написано.
Заранее спасибо.
При анализе робота.
Выдает:
1-36
User-agent: *
Disallow: /*print
...
Disallow: /statistics.html
38-39
Host: domen.ru
Sitemap: http://domen.ru/sitemap.xml
если нетрудно расскажите как исправить ошибку
BtB, не попадать в выдачу эти страницы могут не потому что закрыты в роботсе, а потому что алгоритмы поисковой системы не считают их полезными!
Speaker19, Спасибо за ответ. А как узнать запрещает ли робот индексировать определенные страницы?
У меня проблема с robot.txt
если у Вас robot.txt , то да, проблемы. Файл должен называться robots.txt
6666, )) Да я знаю как он должен называться. Это я просто так написал. ))
В роботе нужно указывать все разделы сайта для нормально индексации ?
А как узнать запрещает ли робот индексировать определенные страницы?
В Яндекс.Вебмастере в разделе "Настройка индексирования" имеется подраздел "Анализ robots.txt". В поле "Список URL" добавляете необходимые страницы сайта и нажимаете "проверить"!
И обязательно братите внимание на замечание 6666 - файл должен называться robots.txt
Всем спасибо за помощь.Speaker19, Вам особая благодарность за ваше терпение и конструктивный ответ.
Ошибка была элементарная.