- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Возник вопрос как ПС Яндекс и Гугл запретить индексировать определенный диапазон страниц.
К примеру:
site.ru/id_1.html
site.ru/id_2.html
site.ru/id_[...].html
site.ru/id_100.html
site.ru/id_101.html
site.ru/id_102.html
site.ru/id_N.html
Требуется запретить от индексаци первые 100 страниц, возможности дописать доп подпись в URL нет. В роботсе перечислять все 100 страниц через строчку - тоже отпадает.
Возможно я что-то пропустил в мэнуале Яши "Использование robots.txt", но интересен и Гугл, чтоб оба не читали контент.
Есть возможность запретить через htaccess, но как корректно это сделать, чтоб ПС не ругались?
Если 0 дописать в урл, то можно.
User-agent: Yandex
Disallow: /id_0*.html
Allow: /id_*.html
Запрещено:
site.ru/id_01.html
site.ru/id_02.html
site.ru/id_039.html
site.ru/id_0100.html
Разрешено:
site.ru/id_101.html
site.ru/id_102.html
site.ru/id_245.html
Или в ненужные можно метатег роботс вставлять.
Str256, скажите, а зачем разрешать определенные страницы, если хватает только запрета ненужных?
Если недопонял - пошу прощения
удалено ...... неправильно прочёл условия
сорри .......
Ммм? Нельзя?
Debtor добавил 22.02.2010 в 17:07
Если 0 дописать в урл, то можно.
Спасибо, попробуем таким способом, если программисту позволит это на движке организовать. =) Но вариант очень хороший.
П.С. Возможно есть еще что-нибудь вкусненькое?
Str256, скажите, а зачем разрешать определенные страницы, если хватает только запрета ненужных?
Да, можно оставить только:
User-agent: *
Disallow: /id_0*.html
P.S. Я пробовал разные варианты, Allow от другого осталось.
П.С. Возможно есть еще что-нибудь вкусненькое?
Или в ненужные страницы можно метатег роботс вставлять.
http://hghltd.yandex.net/yandbtm?qtree=RyCa%2BffqqfPaoshs2W%2B%2FarDIIxH7fjxkp6g9wdJacFRsIIq37pOyfmegkCZufRduBax6XCyVouBTYYLnDfa0zGyABAKCwxOQufpZ3AlxfHmt4bPEunssMPjGncjqzNOR%2BDYEulpsbJmzioyI8KnSWNUsHJyASavv9OYamPf1wo1W8L0ZMx3FSCUqSq01A%2BzbRloC9ZqicaoJdu%2Be1oV%2FnUcNLOvI0gZeWEcYXu84496WkaKFISe63EXhvz0B8X7u3Frsm68x9gjoLovwk6bW2UyZmfqnuLTnJ7YB8GVCyglKvmZoRYCV5c8jUNdwjzOUMM6rpX22twBXKvqt7l868IolITgoWY22BfxkjkRpMNv0p7O0noDnJZWjWgu76nUBBDHEuCSNcAu1OJXxvwj5yqcX3R3vzJwQYmK2qDAWgHnTnjb08ymB8J9AaiIHP6CoBHhu5zYpA%2B9ef%2FSJpD7%2F48qw1C44dMCqC4niFR8mLka87W9GtAe7m7D72u19X%2Bk2vWot9Jf4WIFFYlPNp6yFC5DWydjesdQOq15oXejlADrkEei0jMn%2BWo6%2BRAjlL1z0KqR%2B%2F1P05KfUhDr2FCqMn62UnkQu751Gw6sAGzYPkDaWI2Hxov%2FKKDTrjAtQ5MJhhb21TVYF7pLTXwbl0F0SGQ%3D%3D&text=%EC%E5%F2%E0%F2%E5%E3%20robots&url=http%3A%2F%2Frobotstxt.org.ru%2FRobotsExclusion%2Fmeta%2F
Str256, спасибо.
http://hghltd.yandex.net/yandbtm?qtr...sion%2Fmeta%2F
Ух, действительно вкусняшка, спасибо большое, заодно и проверю работоспособность этого метода)
Всем еще раз спасибо. Тему можно закрывать.