- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет.
Это баг робота Яху или моя криворукость в написании robots.txt ? Мне нужно полностью закрыть от индексации сайт для Яху, но открыть страницу с HTML картой сайта и чтобы робот Яху индексировал ссылки только через страницу карты сайта.
Я пишу:
После полной переиндексации, Yahoo проиндексировал только страницу /karta-sajta/ и все. Дальше по ссылкам, которые на ней, не ходит. Состав ссылок на sitemap.xml равен составу на /karta-sajta/.
В чем дело-то ? Как правильно написать ?
P.S. Мне нужно именно через robots, а не через мета тэги.
Мне нужно полностью закрыть от индексации сайт для Яху
Дальше по ссылкам, которые на ней, не ходит.
А куда дальше он должен ходить, если все остальное запрещено?
а как написать, чтобы ходил ? подскажите плиз (CMS Wordpress)
а как написать, чтобы ходил ?
Мне нужно полностью закрыть от индексации сайт для Яху
Так Вам закрыть от индексации надо или нет?
полностью закрыть от индексации сайт
чтобы индексировал ссылки
Вы полностью и закрыли доступ к сайту, с чего ради должно что-то индексироваться?
Disallow: /
Пересмотрите эту политику
Ну так мне нужно закрыть все, кроме карты сайта и ссылок на ней.
Я пытался это и прописать в роботсе...
Мне нужно полностью закрыть от индексации сайт для Яху, но открыть страницу с HTML картой сайта и чтобы робот Яху индексировал ссылки только через страницу карты сайта.
Только не пиши здесь формат старых и новых адресов, а то могут дать правильную подсказку.
Ну так мне нужно закрыть все, кроме карты сайта
С этой задачей ты справился.
Только не пиши здесь формат старых и новых адресов, а то могут дать правильную подсказку.
С этой задачей ты справился.
а что без сарказма нельзя ? трудно подсказать человеку ? зачем тогда форум
а что без сарказма нельзя ? трудно подсказать человеку ?
Можно. Без сарказма. Запрети старые и разреши новые. Помогло? Только не спрашивай как.
Это баг робота Яху или моя криворукость в написании robots.txt ?
криворукость, а если точнее лень, выраженная в нежелании внимательно прочесть мануал по robots.txt
а что без сарказма нельзя ? трудно подсказать человеку ? зачем тогда форум
какой вопрос, такой ответ, нет вводной информации, не представлены примеры урл, нихрена не сказано о структуре разделов и тп.
исходя из данной информации есть следующие выходы:
1) внедрить директиву Allow: /раздел_сайта_со_статьями_подлежащими_индексированию/ - только в случае, если в этом разделе лежат только те материалы, которые нужно индексировать
2) разрешить к индексированию статьи
Allow: /razdel_1/statya_1
....
Allow: /razdel_n/statya_k
3) запретить индексацию набора статей:
Allow: /
Disallow: /razdel_1/statya_1
....
Disallow: /razdel_n/statya_k