- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день!
Имею следующие странности с индексацией своего WordPress блога.
Проблема №1. Директивы robots.txt не закрыли то, что не хочу видеть в индексе:
На блоге с момента его основания (сентябрь 2011) не было robots.txt. Сделал robots.txt в ночь с 8 на 9 Мая, когда я его залил, последняя дата посещения сайта роботом была 7 Мая. Затем днём 9 Мая пришел робот, а сегодня я увидел, что новое проидексированное содержание засветилось в таком виде:
http://<мой блог>/?cat=1
http://<мой блог>/?m=201204
http://<мой блог>/?cat=4
При том, что в robots.txt у меня стоит:
Disallow: /*?
Disallow: /*?*
Почему это не спасло от попадания в индекс /?cat=1 и /?m=201204 ?
Проблема №2. Не вижу человеко-понятные УРЛ в индексе. Вот ещё одна страничка, проиндексированная только что:
http://<мой блог>/?p=165
...а должна быть как:
http://<мой блог>/powershell-i-windows-adminka/powershell-dialogovoe-okno-windows-net.html
Плагин ЧПУ ставил 1 Мая днём.
Что делать?
У вас роботс неверно составлен
Сделал robots.txt в ночь с 8 на 9 Мая
Плагин ЧПУ ставил 1 Мая днём.
СЕГОДНЯ!!!
11 мая 2012 [2:39 сохраненка] [3:30 RU+EN]
2:39 Обновление сохраненной копии, выложена от 28 апреля 2012
3:30 Текстовый апдейт: выложен индекс по 29 апреля 2012
10 символов
При том, что в robots.txt у меня стоит:
Disallow: /*?
Disallow: /*?*
Cмотрите, и в Яндекс, и в Гугл есть сервис для вебмастеров. У вебмастере можно посмотреть, доступна ли стр. для индексации при поточном robots.txt. Меняйте роботс и смотрите на эффект
Вебмастер-тулзы Яндекса и Гугла - давно зареган там, каждый день туда хожу:) сейчас ещё раз посмотрю внимательнее.
У вас роботс неверно составлен
Где именно? Яндекс-вебмастер ошибок не находит.
На всякий случай поясню, что:
Disallow: /*?*
...это фрагмент robots.txt, вот полное содержимое:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host: simreg.ru
Sitemap: http://<Мой Блог>/sitemap.xml
Sitemap: http://<Мой Блог>/sitemap.xml.gz
---------- Добавлено 11.05.2012 в 13:39 ----------
10 символов
А вот думаю, так и есть на самом деле, что Яндекс выложил старый индекс, до-майский! Просто выложил свой robots.txt для того, чтобы подкорректировать, если что не так в нём...
Коллеги, ура! Сегодня Яндекс обновил свой индекс, и все проблемы (№1 и №2) как рукой сняло!
Спасибо за поддержку!