- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
добавил карту в Google Sitemaps
прошол проверку..
и офигел
пол сайта закрыто для индексации поисковыми ботами
Google Sitemaps пишет что все пучком мол данные страницы закрыты Robots.txt
а вот какой он у меня без изменений 3 месяца
# Инструкции для всех роботов
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: www.daruy-kvity.com.ua
User-agent: Googlebot
Disallow:
в чем глюк??? где ошибка???
по ходу сайт исчез из Яши Рамы и Гугля
суппорт Яши сказал , что бана нет, просто ваш сайт недоступен для индексации
отправте повторный запрос
вобщем сам нерасчехлиш никто не расчехлит за тебя 9-))))
....
Внимание: точно так же и инструкции "Disallow: *", "Disallow: *.doc", "Disallow: /dir/*.doc" не запрещают ничего, поскольку файлов, имя которых начинается со звездочки или содержит ее, не существует! Использование регулярных выражений в строках Disallow, равно как и в файле robots.txt вообще, не предусмотрено.
после ковыряния в логах и пол нервно скуреной пачки сигарет ,была найдена причина
исходный вариант файла был таким:
# Инструкции для всех роботов
User-agent: *
Disallow: * !!!!!!!!!!!!
яша рама и гугла почти 2 недели тупо игнорировали ВСЕ ЛИНКИ на странице 9-(((
звездочка в Disallow закрывает все!!!!
Где-то в хелпах Гугля видел, что он в роботсе понимает, скажем так, какое-то подмножество рег.выражений. В т.ч., насколько помню, и такого типа:
Disallow: /dir*
файл /robots.txt согласно Standard for Robot Exclusion служит для указания различным роботам страниц и разделов сайта, которые не надо индексировать.
Если, как в вашем случае, нет необходимости что-то закрывать от роботов - лучше всего вообще не создавать файл /robots.txt, тем более что об этом прямо говорится в стандарте:"if it was not present, i.e. all robots will consider themselves welcome."