- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем здравствуйте, неделю назад создал сайт, Гугл и Яндекс кроме главной больше ничего не хотят индексировать, хотя раньше с этим по крайней мере с Гуглом проблем не было. Сайт на Вордпресс и подумал поменять файл Роботс.тхт может в нем какая проблема. Файл нашел в сети, гуру посмотрите все ли правильно в этом файле. Спасибо.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Allow: /wp-content/uploads/
Host: мой сайт.ру
Sitemap: http://мой сайт/sitemap.xml.gz
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /wp-content/uploads/
Host: мой сайт.ru
Sitemap: http://мой сайт.ru/sitemap.xml.gz
Вы можете проверить корректность robots.txt сами вот тут - http://webmaster.yandex.ru/robots.xml
в верхней строке вводите url главной, во второе поле robots.txt вставляете инструкции для ПС, и в третьей строке подставляете те урлы которые должны индексироваться.
Узнаете наверняка, будут индексироваться ваши страницы или нет.
неделю назад создал сайт, Гугл и Яндекс кроме главной больше ничего не хотят индексировать
Рановато, дружище :) Месяц, другой надо подождать, или беков накидать жирных
/ru/forum/197239
Я вообще удивлен, что Яндекс за неделю главную схавал :)
Ага спасибо, в вебмастере проверю.
Понятно что рано но года 2 назад все мои ГС мигом влетали в индекс а тут вроде и статьи сам пытаюсь писать... Короче подождем.
---------- Добавлено 19.01.2013 в 15:41 ----------
Я вообще удивлен, что Яндекс за неделю главную схавал :)
Не Вы не правы))) не за неделю а в тот же день то есть неделю назад Яндекс с Гуглом главную схватили, Яндекс заходит в день по 2 раза да без толку. А Гугл больше не приходил.
Не Вы не правы)))
Ну как Вы написали, так я и понял...
Всем здравствуйте, неделю назад создал сайт, Гугл и Яндекс кроме главной больше ничего не хотят индексировать
У меня на Wordpress такой robots.txt:
Disallow:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://site.com.ua/sitemap.xml
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag
radioham, гугле бот параметра host не знает.
У меня на Wordpress такой robots.txt:
У Вас в основном под Гугл настроен? Для яндекса запретов мало?
---------- Добавлено 19.01.2013 в 16:38 ----------
radioham, гугле бот параметра host не знает.
Значит этот параметр лучше убрать?
---------- Добавлено 19.01.2013 в 17:21 ----------
Такой еще вопрос, в роботсе ссылку на карту сайта какую указывать в виде http://xxx.ru/sitemap.xml.gz или http://xxx.ru/sitemap.xml ? Оба файла присутствуют в директории сайта, первая ссылка как я понял это архив.
Значит этот параметр лучше убрать?
Раз он его незнает то зачем он нужен?
Сайтмап лучше загрузить в инструменты ВМТ. Все вопросы о гугле лучше начинать искать отсюда сверху поисковая строка поищите по запросу sitemap.xml
Disallow: /*?*
Disallow: /*?
Может заменить на
Disallow: *?
Ещё можете добавить
Disallow: *//
из-за /ru/forum/768444
Ага спасибо, в вебмастере проверю.
Понятно что рано но года 2 назад все мои ГС мигом влетали в индекс а тут вроде и статьи сам пытаюсь писать... Короче подождем.
---------- Добавлено 19.01.2013 в 15:41 ----------
Не Вы не правы))) не за неделю а в тот же день то есть неделю назад Яндекс с Гуглом главную схватили, Яндекс заходит в день по 2 раза да без толку. А Гугл больше не приходил.
От того что вы сами пишите, вы думаете они (статьи) будут влетать в индекс?
---------- Добавлено 19.01.2013 в 23:03 ----------
У Вас в основном под Гугл настроен? Для яндекса запретов мало?
---------- Добавлено 19.01.2013 в 16:38 ----------
Значит этот параметр лучше убрать?
---------- Добавлено 19.01.2013 в 17:21 ----------
Такой еще вопрос, в роботсе ссылку на карту сайта какую указывать в виде http://xxx.ru/sitemap.xml.gz или http://xxx.ru/sitemap.xml ? Оба файла присутствуют в директории сайта, первая ссылка как я понял это архив.
Я добовляю в sitemap.xml и urllist.txt
В формате .txt удобно самому добавить, если что.
И не забудьте добавить на сайт карту sitemap.html - хуже не будет