amberr: Доброго времени суток
Сайт Вордпресс
У меня в файле robots.txt записано
Disallow: /*?*
Вследствие этого яндекс не проиндексировал много страниц типа - /?p=869
Это короткие ссылки. Я так думаю, они появились, когда я начал в твитере через биржу анонсировать публикацию новых страниц и постов. Там всего 140 знаков можно, поэтому стал ставить короткие ссылки и Текст соответствующий.
Запрет индексации страниц с короткой ссылкой, это плохо в данном случае? Или это не наносит вред сайту? Также есть ли тогда смысл в твитере с короткими ссылками, если есть запрет в robots.txt?
это на WP из за тега shortlink, закрывать такие урлы - обычная практика.
awasome: Как закрыть https? Начали вылезать откуда-то, на самом деле такой страницы нет, ведет на сайт хостера.
Привет, это глюк какой-то.. пиши хостеру. В robot.txt нельзя запретить весь протокол https, можешь хостом прописать http://.. Ну и закрыть определенные страницы, как понимаю вылезли страницы входа в панель управления? Их и закрой..
либо попробовать через .htaccess номально настроить ну и посмотри настройки главного зеркала в вебмастере (для яндекса)..
---------- Добавлено 11.03.2015 в 18:34 ----------
Алекс35: Здравствуйте, 2 вопроса:
1. Нужно ли закрывать категории от индексации или нет? (На сайте статьи и несколько рубрик) Disallow: /category/*/* (Читаю форум, не могу понять, кто-то закрывает кто-то нет)
Sinnn: Здравствуйте! Есть сайт реализованный на Ruby.
Сделано по спецификации https://help.yandex.ru/webmaster/robot-workings/ajax-indexing.xml. Сайт одностраничное приложение написано на javascript каждая страница содержит мета тег <meta content="!" name="fragment">, робот просматривая страницу, понимает что ему нужна ?_escaped_fragment_= по этой ссылке он получает пререндереный html слепок этой страницы.
Какие перспективы у данного сайта для продвижения? В сети 2 месяца Яша схавал 65 000 страниц, в выдачу попали пока 85. Есть шансы у такого сайта?
это костыль сайтов на ajax - руби тут ни причем. С Google обычно проблем нет, в основном проблемы с Яндексом. Смотрите ваши страницы через инструмент проверки отдачи вашего содержимого: https://webmaster.yandex.ru/server-response.xml, или посмотреть как google через GWT. Ну и сохраненки тоже смотрите.
штук 10 уже фильтров точно снимал: сохраняете из бирж выгрузку, сохраняете выгрузку ссылок из GWT, немного смотрите и удаляете ссылки которые вам важны, зависит от объема: понятно что если 100 ссылок, то можно все посмотреть, если 1000000 ссылок, чистите только Vk, yandex и прочие (особо не мучаясь).. как мне кажется чистить программами, расчитывать траст и тд - ерунда.. Загоняете все в файл, отклоняете в disawov tools и пишите в пересмотр: что все почистил, далее буду соблюдать все правила. Работы на 30 минут - 1 час..
Через неделю профит.
qilly: Тоже сняли меры, принятые вручную. Интересно вернется ли траф и когда.
Позиции поднимаются через недели 2. Метод в основном действует с первого раза.
Никак не могу сообразить как правильно запретить индексацию страниц для Wordpress.
У меня в теме Wordpresa выводится site.ru/page/5 и они дублируют главную страницу, и как наполняется сайт естественно этих страниц становится больше. Это мне надо закрыть от индексации
Но вот страницы в рубриках site.ru/rubrika/page/5 нужно оставить открытыми для индексации
Как это правильно прописать и сделать, чтобы в первом случаи все страницы page были закрыты от индексации, а во втором случае для страниц рубрики открыты?
У меня вопрос по robots. Яндекс упорно индексирует несуществующие страницы - типа http://сайт/?id=xx
Запретил индексацию в robots:
User-agent: Yandex
Disallow: /?id=
После сегодняшнего апдейта - все без изменений. До этого стояла джумла и были подобные ссылки. На CMS запретить подобного рода ссылки невозможно, т.к. по сути выводит внутреннюю страницу, но без текста, с заголовком от главной страницы. И это очень сильно бьет по оптимизации сайта... посоветуйте, что можно сделать еще? 🤪
Доброго времени суток
Сайт Вордпресс
У меня в файле robots.txt записано
Disallow: /*?*
Вследствие этого яндекс не проиндексировал много страниц типа - /?p=869
Это короткие ссылки. Я так думаю, они появились, когда я начал в твитере через биржу анонсировать публикацию новых страниц и постов. Там всего 140 знаков можно, поэтому стал ставить короткие ссылки и Текст соответствующий.
Запрет индексации страниц с короткой ссылкой, это плохо в данном случае? Или это не наносит вред сайту? Также есть ли тогда смысл в твитере с короткими ссылками, если есть запрет в robots.txt?
это на WP из за тега shortlink, закрывать такие урлы - обычная практика.
Добрый день! промогите разабратся. достался мне сайт http://www.profvorota.com.ua c непонятным txt
User-agent: *
Disallow: /admin*
Host: http://profvorota.com.ua
Request-rate: 3/1
Visit-time: 0400-0600
Sitemap:http://profvorota.com.ua/sitemap.xml
User-agent: * # все ПС
Disallow: /admin* # на конце не нужна звездочка, поставит автоматом. Закрыть раздел admin, закрыть admin.php и др.. я бы поставить Disallow: /admin/
Host: http://profvorota.com.ua # главное зеркало
Request-rate: 3/1 # загружать не более трех страниц за 1 секунду. Не будет обрабатываться Яндексом.
Visit-time: 0400-0600 # загружать страницы только в промежуток с 4 утра до 6:00 по Гринвичу. Не будет обрабатываться Яндексом.
Sitemap:http://profvorota.com.ua/sitemap.xml #загружать сайтмап, только я бы для красоты пробел поставил.
А редирект никак не навредит тем позициям что сейчас есть? а то вдруг вообще вылетит из поиска сайт)
не навредит
Как закрыть https? Начали вылезать откуда-то, на самом деле такой страницы нет, ведет на сайт хостера.
Привет, это глюк какой-то.. пиши хостеру. В robot.txt нельзя запретить весь протокол https, можешь хостом прописать http://.. Ну и закрыть определенные страницы, как понимаю вылезли страницы входа в панель управления? Их и закрой..
есть еще один выход через попу)
либо попробовать через .htaccess номально настроить ну и посмотри настройки главного зеркала в вебмастере (для яндекса)..
---------- Добавлено 11.03.2015 в 18:34 ----------
Здравствуйте,
2 вопроса:
1. Нужно ли закрывать категории от индексации или нет? (На сайте статьи и несколько рубрик)
Disallow: /category/*/*
(Читаю форум, не могу понять, кто-то закрывает кто-то нет)
2.Когда указывают карту сайта,
это делается так, "Sitemap: http://ввв.мойсайт.ru/sitemap.xml"
Но я видел и такой вариант:
Sitemap: http://ввв.мойсайт.ru/sitemap.xml
Sitemap: http://ввв.мойсайт.ru/sitemap.xml.gz
Что это за "xml.gz" такой, и нужно ли его указывать?
1. Выбор за вами.. зависит от важности закрытия дублей.
2. GZ - сжатие. При большой карте сайта её сжимают, если нет необходимости - не используйте.
Здравствуйте! Есть сайт реализованный на Ruby.
Сделано по спецификации https://help.yandex.ru/webmaster/robot-workings/ajax-indexing.xml. Сайт одностраничное приложение написано на javascript каждая страница содержит мета тег <meta content="!" name="fragment">, робот просматривая страницу, понимает что ему нужна ?_escaped_fragment_= по этой ссылке он получает пререндереный html слепок этой страницы.
Какие перспективы у данного сайта для продвижения? В сети 2 месяца Яша схавал 65 000 страниц, в выдачу попали пока 85. Есть шансы у такого сайта?
это костыль сайтов на ajax - руби тут ни причем. С Google обычно проблем нет, в основном проблемы с Яндексом. Смотрите ваши страницы через инструмент проверки отдачи вашего содержимого: https://webmaster.yandex.ru/server-response.xml, или посмотреть как google через GWT. Ну и сохраненки тоже смотрите.
штук 10 уже фильтров точно снимал: сохраняете из бирж выгрузку, сохраняете выгрузку ссылок из GWT, немного смотрите и удаляете ссылки которые вам важны, зависит от объема: понятно что если 100 ссылок, то можно все посмотреть, если 1000000 ссылок, чистите только Vk, yandex и прочие (особо не мучаясь).. как мне кажется чистить программами, расчитывать траст и тд - ерунда.. Загоняете все в файл, отклоняете в disawov tools и пишите в пересмотр: что все почистил, далее буду соблюдать все правила. Работы на 30 минут - 1 час..
Через неделю профит.
Тоже сняли меры, принятые вручную. Интересно вернется ли траф и когда.
Позиции поднимаются через недели 2. Метод в основном действует с первого раза.
Добрый день.
Никак не могу сообразить как правильно запретить индексацию страниц для Wordpress.
У меня в теме Wordpresa выводится site.ru/page/5 и они дублируют главную страницу, и как наполняется сайт естественно этих страниц становится больше. Это мне надо закрыть от индексации
Но вот страницы в рубриках site.ru/rubrika/page/5 нужно оставить открытыми для индексации
Как это правильно прописать и сделать, чтобы в первом случаи все страницы page были закрыты от индексации, а во втором случае для страниц рубрики открыты?
Спасибо.
рубрика и страницы
User-agent: *
Disallow: /page
Allow: /rubrika/page
только страница и далее..
User-agent: *
Disallow: /page/5
Allow: /rubrika/page/5
ПФ, траст, ссылки - нет..
спам - да
Текущая реальность из топ-10 в оптимизации под Яндекс - http://konteynerline.ru/index.php/20-futovyj-kontejner.html
Здравствуйте.
У меня вопрос по robots. Яндекс упорно индексирует несуществующие страницы - типа http://сайт/?id=xx
Запретил индексацию в robots:
User-agent: Yandex
Disallow: /?id=
После сегодняшнего апдейта - все без изменений. До этого стояла джумла и были подобные ссылки. На CMS запретить подобного рода ссылки невозможно, т.к. по сути выводит внутреннюю страницу, но без текста, с заголовком от главной страницы. И это очень сильно бьет по оптимизации сайта... посоветуйте, что можно сделать еще? 🤪
удалить из выдачи
В одной из тематик в топе по Москве - Казахский форум, с веткой продаж в Казахстане..
думаю откатят..