- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
altezzik, следует + письма рассылает, что если роботс не будет доступен, то сканировать временно прекратит.
Приведу пример своего robots.txt , у меня в google много страниц с /2015/01/ к примеру таких. Скажите пожалуйста правильно ли у меня составлен этот файл, и что сделать с Google? Я тут много чего понаписал, может лишнего. Укажите что не правильно?
Во первых слишком большой файл robots.txt это не очень хорошо, при том что ваш можно упростить например:
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Можно заменить на Disallow: /index.php?do
Так как лучше всегда закрывать от индексации get параметры.
Во вторых файл robots.txt это всего лишь рекомендация для робота, а далее робот уже решает что ему делать. Если хотите закрыть на 100% используйте теги <meta name="robots" content="noindex,nofollow">
следует + письма рассылает, что если роботс не будет доступен, то сканировать временно прекратит.
Какой же ты... Да, Мад_Мен прав. Даже ещё мягко сказал.
Маны не читаешь - это понятно. Но хотя бы головой подумал, что в гуговебмастере зареганы едва ли 10% сайтов. Кому и куда гугл будет отсылать письма? Или он тоже кому-то обязан?
Давно уже поднималась эта тема. Robots.txt для Google это рекомендация, а не правило.
Вот этот метатег для запрета индексации текста на странице:
<!--googleoff: all-->текст<!--/googleoff: all-->
Что за бред?
Бред который работает. http://google.utk.edu/ut-help/googleongoogleoff/
Со снипетов убирается не нужное, проверено (заключенное в метатег убирается примерно через 2-3 недели).
Спасибо добрым людям, раньше тоже думал что нельзя закрыть текст. http://talk.pr-cy.ru/topic/11125-kak-zakryt-tekst-ot-glaz-gugla/
Я таки не поленился проверить: http://bakalov.info/eksperiment-uchityvaet-li-google-teg-googleoff.html
Как и ожидалось - тема бред, указанный тег нефига не работает.