- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть ли способ как научить робота, говорить яндексу следующее:
Не индексируй ничего кроме определенных страниц.
К примеру, есть сайт на нем динамические страницы, само собой подразумевается невозможность редактирования кода страниц для добавления мета-тега с nofollow, тем более когда речь идет про более 18 000 страниц, а проиндексировать нужно около 40 страниц.
help.yandex.ru - попробуйте.
help.yandex.ru - попробуйте.
Все тщательно прочитал, но для подобного случая не обнаружил
Здрасьте.
40 штук Allow:
Disallow: /
40 штук Allow:
Disallow: /
Что если все страницы хранятся по адресу, после домена начиная с /shop/,а после, в зависимости от уровня категорий & подкатегорий к примеру:
Категория: /shop/CID_759.html;
Подкатегория: /shop/CID_759.html;
Товар: /shop/UID_131389.html;
Все нужно закрыть от индексации, но кроме некоторых страниц (категорий с товаром)
В таком случае, в роботе я указываю, следующее директивы:
Allow: /shop/CID_314.html
/shop/CID_83.html
/shop/CID_82.html
/shop/CID_400.html
/shop/CID_269.html
/shop/CID_368.html
/shop/CID_101.html и т.д.
Disallow: /
Это действительно поможет подсказать яндексу, что нужно только некоторые страницы приндексировать? И правильно ли я оформил внесения страниц в робот?
Только сначала
Disallow: /
потом
40 Allow: с адресами страниц
Allow: /shop/CID_314.html
Allow: /shop/CID_83.html
Allow: /shop/CID_82.html и т.д.
Правильным будет такой подход:
User-agent: Yandex
Allow: /shop/CID_314.html
Allow: /shop/CID_83.html
Allow: /shop/CID_82.html
и т.п.
Disallow: /
И не забудьте проверить роботс в анализаторе яшки. А то всякие сюрпризы бывают.
Только сначала
Disallow: /
потом
40 Allow
DyaDya, вы уверены?
В букваре Яндекса написано прямо противоположное:
Если для данной страницы сайта подходит несколько директив,
то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры, если:
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
User-agent: Yandex
Disallow: /
Allow: /cgi-bin
# запрещает скачивать весь сайт
Дезинформация не пройдет! 🙅
DyaDya, А, это уберет с выдачи в результатах поиска "Яндекс" страницы, которые уже успели проиндексироваться на сайте?
По сути, хочется таким образом направить яндекс, сначала на одни страницы, которые уже оптимизированны и хочется уже их видеть в результатах поиска так, как заколебаться можно ждать когда он дойдет до них, а потом в дальнейшем через месяц уже включить все страницы разом.
KansayTLisir добавил 31.01.2011 в 21:43
DyaDya, вы уверены?
В букваре Яндекса написано прямо противоположное:
согласен, я именно об этом и подумал потому, что читал это на тот момент когда вы дали мне первый ответ
А, это уберет с выдачи в результатах поиска "Яндекс" страницы, которые уже успели проиндексироваться на сайте?
Несомненно.
DyaDya, вы уверены?
В букваре Яндекса написано прямо противоположное:
Дезинформация не пройдет! 🙅
Меня тоже это удивило. Но когда было наоборот, анализатор яшки работал некорректно для роботса на сайте www.java-games.ru
В итоге я переписывался с Платонами по такому странному косяку и мне сказали прямым текстом сказали, что нужно сначала дисаллоу). Я тоже удивлялся, но анализатор действительно начал корректно отрабатывать запреты и разрешения.
В итоге вот такой роботс получился:
Allow: /
User-agent: Yandex
Disallow: /*ph_agree*
Allow: /
Host: www.java-games.ru
В ответ я платонам отписал, что это как-то нелогично выходит. Типа Аллоу идёт в конце, но не перебивает предыдущие дисаллоу. Очень странно. И тоже им же кинул ссыль на их хелп. Промолчали)
Хотя, получается, что первый дисаллоу всё перебивает. Выходит что так. И если дисаллоу будет /, то реально весь сайт запретит индексировать. В общем, логику я пока не улавливаю такого поведения. Но уж как есть.
overnight, в таком случае, должна быть директива, которая попросит при этом не убирать робота то, что он уже успел проиндексировать так, как моя цель убрать с индекса все страницы, кроме некоторых - это временная нужда направленная на акцентирование внимания относительно яндекс.робота на определенные страницы, которые будут по приоритету при последующем заходе робота индексировать то, что добавлено в Allow, но не для запрета на показ страниц в целом - мы не прячем от людей контент.