- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Не понимаю в чем проблемам, объясните, пожалуйста.
Сайт гуглом и яндексом еще не проиндексировался, только сегодня купить домен, а пока настраивать шаблон и т.д. И вот дошла очередь robots. Захожу в гугл инструменты для веб мастеров, что б посмотреть как гугл бот видит мой сайт, вбиваю адресс домашней страницы и вижу сообщение:
Страницу не удалось просканировать, так как она заблокирована с помощью robots.txt.
Но мой robots.txt:
Почему гугл не индексирует?
А началось все с того, что гугл не захотел брать мой sitemap, потому, что он заблокирован robots.txt
Хотя в Состояние - Заблокированные URL - все нормально.
Я конечно не профессионал, но Вам не кажется, что Вы слишком много убрали от индексации? 🍿
Возможно это мешает:
Disallow: /wp-includes/
Disallow: /wp-content/
Больше и быть не может, но это моё ИМХО. Но лучше подождите, кто точно скажет. :)
Поменял на:
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Те же яйца...Sitemap и смотреть как googlebot не могу :(
Даже с пустым robots тоже самое. Может это просто глюк гугла?
Хм, даже не знаю. Подождите немного, потом попробуйте. Как раз кто-нибудь здесь может что подскажет.
Никаких идей? Теперь индексация не проходит....В гугле начал искать свой сайт и вот:
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
Может у меня robots.txt не правильный?
Я в отчаянье.... Поставил robots
И все равно sitemap добавить не могу...:(
только сегодня купить домен,
...как гугл бот видит мой сайт,
А он его вообще видит? Сколько времени прошло после прописывания ДНС?
И покажи сайт (в топик, не в личку).
в админке WP: Параметры->настройка приватности->Разрешить поисковым системам индексировать сайт.
А он его вообще видит? Сколько времени прошло после прописывания ДНС?
И покажи сайт (в топик, не в личку).
Вообще видит. Если искать в гугле по шаблону site:адресс - он находит главную и пишет:
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
ДНС прописаны вчера.
в админке WP: Параметры->настройка приватности->Разрешить поисковым системам индексировать сайт.
Было сделано перед тем, как отправлять гугле sitemap.
а если роботс убрать на время и подсунуть sitemap?
Попробовал...Правда не знаю, как его убрать, т.к. если его нет - WP генерирует свой. Кинул туда пустой. Пытаюсь скормить сайтмэп - тоже самое:
При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
URL, запрещенный файлом robots.txt
По непонятным причинам все само собой пришло в норму. Походу все таки проблемы были у гугла.
Всем спасибо за участие.