- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Имеется форум, которому несколько лет, но robots.txt так и не создан (о ужас).
Хочется запретить ботам индексировать некоторые странички, чтобы зря не грузили наш сервер. НО многие из этих страниц уже есть в индексах поисковиков - не "обидятся" ли роботы, что им закрыли доступ к некоторым страницам, которые раньше они спокойно индексировали, и не уйдут ли они после этого вообще с сайта? :rolleyes:
Т.е. сейчас есть скрипт1 и скрипт2, оба они в индексах поисковиков, тут я создаю роботс.тхт, где запрещаю скрипт2 к индексации. Роботы всё нормально поймут? Перестанут индексировать скрипт2, а скрипт1 продолжат индексировать?
Например хочу добавить:
User-Agent: *
Disallow: *act=Forward*# запретить отправлять тему на мыло.
Disallow: *&st=all*# не показывать ему топики целиком, а то есть большие топики
Заранее большое спасибо за ответы!
Какие страницы запретите для индексации в роботс, такие он индексировать и не будет. Если запретите индексацию, к примеру страницы с профилем, то он её не проиндексирует, остальное должен скушать :)
не "обидятся" ли роботы, что им закрыли доступ к некоторым страницам, которые раньше они спокойно индексировали, и не уйдут ли они после этого вообще с сайта?
Не обидятся и не уйдут.
Disallow: *act=Forward*
Disallow: *&st=all*
Обидятся не обидятся, но только это изначально не правильно, т.к. такие конструкции понимают далеко не все роботы, например Яндекс не поймет. К сожалению индексацию IPB не довести до ума исключительно роботсом...
Kislov
Да-да, именно профили и хочу запретить к индексации.
НО не будет ли проблем с тем, что они уже проиндексированы, а тут я их запрещаю?
kolobok74
Спасибо!
FishB1
Не поймёт?
А как же быть, можете подсказать?
А как же быть, можете подсказать?
Разделы, которые не надо индексировать, сделайте видимыми только для зарегистрированных участников.
Да-да, именно профили и хочу запретить к индексации.
НО не будет ли проблем с тем, что они уже проиндексированы, а тут я их запрещаю?
не будет.
Я уже как-то делился готовым инвижновским роботсом, но раз поиск по форуму юзать не все умеют...
Держите, короче http://forum.vetby.ru/robots.txt
Все проверено, все стреляет.
Нет, не поймёт.
Я уже как-то делился готовым инвижновским роботсом, но раз поиск по форуму юзать не все умеют...
Держите, короче http://forum.vetby.ru/robots.txt
Все проверено, все стреляет.
А есть ли смысл в таком количестве директив, если можно обойтись двумя:
Disallow: /index.php?&act=
Disallow: /index.php&act=
Всё рано через act скрипт форума ничего полезного не выводит =). Да и директива хост не интересна никому, кроме Яндекса, её лучше вынести в секцию Яндекса...
Во-первых определить роботов в группу гостей.
А дальше зависит от версии IPB, у меня до недавних пор стояла 1.3 от Бэстфайлз и к ней есть роботс, да и создавался он как раз с целью вычистить весь мусор (за бардак внутри извиняюсь, но никак не думал его кому-то показывать =)). В принципе этот-же сейчас и для 2.1.7, но в каждую секцию + строчка "Disallow: /lofiversion". Закрывает от Гугля вообще всё лишнее (по крайней мере ничего лишнего замечено небыло). А вот с Яндексом сложнее - ссылки типа /index.php?showtopic=4064&view=getnewpost и т.д. индексирует прекрасно. Я их джава-скриптами закрывал, но всё равно в индексе много лишнего, хотя всё же разница ощутима - было 180 тыс. страниц, осталось 40 =).
Если будете брать этот - не забудьте host поменять =)
6666
Как раз хочу, чтобы все разделы индексировались.
The end
Я уже как-то делился готовым инвижновским роботсом, но раз поиск по форуму юзать не все умеют...
Держите, короче http://forum.vetby.ru/robots.txt
Все проверено, все стреляет.
Спасибо большое! Именно чтобы узнать это я и создал топик.
FishB1
Не поймёт - пропустит директиву.. или забанит всё?
Disallow: /index.php?&act=
Disallow: /index.php&act=
Всё рано через act скрипт форума ничего полезного не выводит =). Да и директива хост не интересна никому, кроме Яндекса, её лучше вынести в секцию Яндекса...
У меня старая версия форума, там топики - index.php?act=ST&f=X&t=Y - например, через акт выводятся.. да и разделы тоже.
А дальше зависит от версии IPB, у меня до недавних пор стояла 1.3 от Бэстфайлз и к ней есть роботс, да и создавался он как раз с целью вычистить весь мусор (за бардак внутри извиняюсь, но никак не думал его кому-то показывать =)). В принципе этот-же сейчас и для 2.1.7, но в каждую секцию + строчка "Disallow: /lofiversion". Закрывает от Гугля вообще всё лишнее (по крайней мере ничего лишнего замечено небыло). А вот с Яндексом сложнее - ссылки типа /index.php?showtopic=4064&view=getnewpost и т.д. индексирует прекрасно. Я их джава-скриптами закрывал, но всё равно в индексе много лишнего, хотя всё же разница ощутима - было 180 тыс. страниц, осталось 40 =).
Гости у меня как раз ничего не видят, а ботам открыты топики, например.
Тогда вопрос так сформулирую - как правильно отменить индексацию профилей по ссылкам вида /index.php?act=Profile&MID=X
1) Disallow: /index.php?act=Profile
2) Disallow: *act=Profile*
?
Не поймёт - пропустит директиву.. или забанит всё?
Пропустит. Вопрос в том, чтобы "не поняли" а не "поняли неправильно".
Disallow: /index.php?act=Profile
А есть ли смысл в таком количестве директив, если можно обойтись двумя:
Disallow: /index.php?&act=
Disallow: /index.php&act=
Всё рано через act скрипт форума ничего полезного не выводит =). Да и директива хост не интересна никому, кроме Яндекса, её лучше вынести в секцию Яндекса...
Все остальные просто пропустят директиву. А вот создавать в роботсе на форуме отдельные секции для разных роботов никогда смысла не видел.
А вот с Яндексом сложнее - ссылки типа /index.php?showtopic=4064&view=getnewpost и т.д. индексирует прекрасно.
Не индексирует. НЕ ИНДЕКСИРУЕТ, А ПРОХОДИТ. getnewpost - это 302-й редирект, по которому Яндекс проходит и индексирует уже сами страницы тем.
Я закрываю страницы, не несущие какой-либо ценности, lofiversion я не закрываю. ;)
Тогда вопрос так сформулирую - как правильно отменить индексацию профилей по ссылкам вида /index.php?act=Profile&MID=X
1) Disallow: /index.php?act=Profile
2) Disallow: *act=Profile*
?
Лично мы делали 301/302 редирект с "ненужных" ссылок на главную страницу сайта. Кое-где движком, кое-где mod_rewrite-ом. Ещё нам подсказывали вариант - движком на "ненужные" страницы выдавать меты по типу noindex, follow.