- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
DE6, вчера была видеовстреча с гуглерами они просили дать конкретный пример. Можете?
Для меня, если честно, это откровение. Всегда был уверен, что робот панацея от найденных дублей страниц, и там их можно постфактум закрыть от индексации. Получается, что если страницы уже в индексе, то дисалоу в роботе уже бесполезен?
Ну да, всего пару дней рабского труда🤪
---------- Добавлено 14.12.2012 в 18:31 ----------
Для информации: Яндекс, все старые уже вывел из индекса.
что если страницы уже в индексе, то дисалоу в роботе уже бесполезен?
Да. Я же писал Вам, что роботс.тхт запрещяет сканирование, а не индексирование. Не пойму страницы физически еще существуют на сайте?
... роботс.тхт запрещяет сканирование, а не индексирование.
Абсолютно верно!
Если вы сначала закрыли уже проиндексированную страницу от заходов поискового робота Гугла, а затем ее удалили - то пройдет очень много времени, пока она исчезнет из поиска. Потому, что Гугол просто НЕ БУДЕТ заходить по этому адресу и, соответственно, не узнает, что страницы больше не существует. А когда узнает - то будет некоторое время (до 90 дней, в зависимости от важности) держать ее в индексе. И это правильно, иначе бы единичные сбои в работе хостера рушили бы сайты мгновенно.
Верные способы:
- если страница отдает код 404 или 410, то не закрывать ее в ROBOTS'е. Это долго, но гораздо быстрее, чем при ее закрытии;
- быстрый способ: закрыть в ROBOTS'е и удалить вручную в WMT. Работает в течении суток.
Что интересно: если страницы вообще нет и никогда не было на сайте, но на нее ведут внешние или внутренние ссылки - то Гугол может показать ее в индексе. Конечно, не по ВЧ-запросам, но по супер-НЧ, которые присутствуют в анкорах - запросто.
Пример возник.
Неделю назад ещё не было роботса, в индексе было около 63 000 страниц.
Потом появился роботс Last-Modified: Mon, 10 Dec 2012 14:43:59 GMT
Результатов: примерно 57 600, отвечают 200.
Какими будут прогнозы?
Они существуют, но по новым адресам и с обновленным контентом. По старым адресам материал отсутствует и выдает 404.
- если страница отдает код 404 или 410, то не закрывать ее в ROBOTS'е. Это долго, но гораздо быстрее, чем при ее закрытии;
- быстрый способ: закрыть в ROBOTS'е и удалить вручную в WMT. Работает в течении суток.
Если открыть robot, то боюсь Яндекс их обратно в индекс затащит. А так хоть он дисалоу "по-моему" отработал.
Видимо придется ручками...
Запрет индексации в robots.txt не панацея.
Более надежней использовать мета тег: <meta name="robots" content="NOINDEX">
Как его использовать, если материал отсутствует? Или, к примеру, CMS просто дублирует страницы?
цмс обычно имеет возможность массово ( например в джумле) редиректить старые адреса на новые
богоносец, интересный пример :) Их всего 55к могли попасть до команды не индексировать :)