- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайт. Robots.txt сайта выглядит следующим образом:
# robots.txt for http://site.com
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /import/
Disallow: /include/
Disallow: /modules/
Disallow: /sys/
Disallow: /order/
Disallow: /order.php
Disallow: /comparison/
Disallow: /registration/
Host: www.site.com
Sitemap: http://www.site.com/sitemap.xml
Как в индекс попали страницы раздела и сам раздел site.com/order/ ?
По запросу site:site.com/order/ гугл выдает как сам раздел, так и страницы раздела с параметрами вида site.com/order/?бла-бла-бла
Где ошибка?
ArtPresident, они попали до вставки в роботс. (предположительно) как советуют гугловцы удалите из роботс эту строчку, вставьте на страницу ноиндекс робот зайдет увидит команду и они уйдут из выдачи.
Нет, просто гугл считает роботс скорее рекомендацией, чем правилом. А так индексирует все подряд.
september, гугле бот не считает роботс рекомендацией. Он его слушает полностью. Но если страницы проиндексировались то их нужно уже удалять.
Лично я устал уже удалять из индекса запрещенные страницы, задрал он уже индексировать их. В роботс указано что нельзя, на странице указано noindex,nofolow, в панели веб мастера тоже указано что нельзя и один хрен индексирует только поудаляю через день два опять все загоняет, и самое интересное когда беру эту ссылку и панели веб мастера вставляю посмотреть как гугл бот он мне пишет что нельзя, запрещено. Вот и спрашивается, какого фига он их индексирует???
starokonka, читайте внимательно мой первый пост.
http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449
1. Ставим пользователю куки - как маркер.
2. Перед обращением к закрытому разделу - проверяем поддержку куки и если нет, говорим "Включите ...".
3. В закрытом разделе на каждой странице проверяем наличие маркера. Если нет --> 404
... скорее 403