- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
У меня похожая проблема, я с гуглем только совладать не могу. Вот это попало в индекс то, что не должно было:
/tovari/smd-svetodiodi.html?limit=15&start=10
/tovari/smd-svetodiodi.html?limit=25&start=10
/tovari/smd-svetodiodi.html?limit=30&start=5
/tovari/smd-svetodiodi.html?limit=50&start=5
Мне нужны только страницы вида
/tovari/smd-svetodiodi.html?limit=25&start=25
/tovari/smd-svetodiodi.html?limit=25&start=50 и т.д. То есть с шагом в 25 товаров. Никак не могу найти ответ. Буду признателен за помощь!
Не самый лучший, но единственный способ - перечисление разрешенных ссылок:
User-agent: Googlebot
Allow: /tovari/smd-svetodiodi.html?limit=25&start=25
Allow: /tovari/smd-svetodiodi.html?limit=25&start=50
Allow: /tovari/smd-svetodiodi.html?limit=25&start=75
Allow: /tovari/smd-svetodiodi.html?limit=25&start=100
Allow: /tovari/smd-svetodiodi.html?limit=25&start=125
Allow: /tovari/smd-svetodiodi.html?limit=25&start=150
Allow: /tovari/smd-svetodiodi.html?limit=25&start=175
Allow: /tovari/smd-svetodiodi.html?limit=25&start=200
Allow: /tovari/smd-svetodiodi.html?limit=25&start=225
(... и так далее)
Disallow: /tovari/smd-svetodiodi.html?*
Либо так, но в этом случае не все ссылки попадают под правило (н-р, ссылка /tovari/smd-svetodiodi.html?limit=25&start=10 и подобные проиндексируется):
Allow: /tovari/smd-svetodiodi.html?limit=25*
Disallow: /tovari/smd-svetodiodi.html?*
Лучший вариант - исправить скрипт (по возможности).
ps. к сожалению robots.txt не понимает регулярных выражений, было бы куда проще...
User-agent: Yandex
Allow: /catalog/tovar
Disallow: /catalog/tovar?*
Это, кстати, не верная конструкция, она идентична следующей:
Allow: /catalog/tovar*
Disallow: /catalog/tovar?*
В robots перевод строки считается, как * по умолчанию. Т.е. в итоге ничего не будет запрещено. Правильно писать так:
Allow: /catalog/tovar$ # www.site.ru/catalog/tovar разрешаем, $ убирает *
Disallow: /catalog/tovar* # всё остальное, содержащее /catalog/tovar запрещаем
Fruit добавил 28.09.2010 в 11:51
У меня похожая проблема, я с гуглем только совладать не могу. Вот это попало в индекс то, что не должно было:
/tovari/smd-svetodiodi.html?limit=15&start=10
/tovari/smd-svetodiodi.html?limit=25&start=10
/tovari/smd-svetodiodi.html?limit=30&start=5
/tovari/smd-svetodiodi.html?limit=50&start=5
Мне нужны только страницы вида
/tovari/smd-svetodiodi.html?limit=25&start=25
/tovari/smd-svetodiodi.html?limit=25&start=50 и т.д. То есть с шагом в 25 товаров. Никак не могу найти ответ. Буду признателен за помощь!
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*75$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*50$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*25$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*00$
Diallow: /tovari/smd-svetodiodi.html?limit=
Это, кстати, не верная конструкция, она идентична следующей:
Allow: /catalog/tovar*
Disallow: /catalog/tovar?*
действительно, упустил этот момент, спасибо!
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*75$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*50$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*25$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*00$
Diallow: /tovari/smd-svetodiodi.html?limit=
"и опыт, сын ошибок трудных" (c)
Я запутался в этом бешеном выражении.
Мы закрываем все страницы, у которых передается параметр (= присутствует знак вопроса в урле)?
ИМХО: больше никого не слушай. Потрать 10-15 минут. В вебмастере в настройке индексирования вкладка Анализ robots.txt . Ниже содержания роботса можно добавить кучу урлов и проверять каждую команду, внесенную в роботс.
Дел реально на 15 минут. Зато ты не будешь потом переживать: а не закрыл ли чего лишнего или не оставил ли мусора. Тем более, что ты точно знашь - что является мусором/дублями и знаешь как формируются урлы в рамках твоего сайта.
Удачи !
самый быстрый способ это через панель вэбмастера весь каталог грохнуть и пусть заного индексируется, только ссылки сразу построй так чтобы дубли не создавались, тем самым и лишний вес не будет испарятся
Зачем мелочиться, грохните весь сайт
Мы закрываем все страницы, у которых передается параметр (= присутствует знак вопроса в урле)?
Ну да, как в первом посте просили
Это, кстати, не верная конструкция, она идентична следующей:
Allow: /catalog/tovar*
Disallow: /catalog/tovar?*
В robots перевод строки считается, как * по умолчанию. Т.е. в итоге ничего не будет запрещено. Правильно писать так:
Allow: /catalog/tovar$ # www.site.ru/catalog/tovar разрешаем, $ убирает *
Disallow: /catalog/tovar* # всё остальное, содержащее /catalog/tovar запрещаем
Fruit добавил 28.09.2010 в 11:51
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*75$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*50$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*25$
Allow: /tovari/smd-svetodiodi.html?limit=25&start=*00$
Diallow: /tovari/smd-svetodiodi.html?limit=
А если это нужно применить ко всему сайту то запись в роботы такая?:
Allow: /?limit=25&start=*75$
Allow: /?limit=25&start=*50$
Allow: /?limit=25&start=*25$
Allow: /?limit=25&start=*00$
Diallow: /?limit=
Если да, то сразу скажу - вариант не работает. Не знаю даже что делать. Все перепробовал.
З.С. Вот этак конструкиця "Disallow: /?limit=" не запрещает страницы с таким параметром почему-то.
З.С. Вот этак конструкиця "Disallow: /?limit=" не запрещает страницы с таким параметром почему-то.
Disallow: /*?limit=
Ответ нашел по аналогии, вот рабочий вариант:
Allow: /*?limit=25&start=0
Allow: /*?limit=25&start=25
Allow: /*?limit=25&start=50
Allow: /*?limit=25&start=75
Disallow: /*?limit=
Ответ нашел по аналогии, вот рабочий вариант:
Allow: /*?limit=25&start=0
Allow: /*?limit=25&start=25
Allow: /*?limit=25&start=50
Allow: /*?limit=25&start=75
Disallow: /*?limit=
Не забудьте, что в конце строки "по умолчанию" стоит "*". Т.е. Ваш пример разрешает так же страницы:
Allow: /*?limit=25&start=251
Allow: /*?limit=25&start=252
Allow: /*?limit=25&start=253
и т.п.
Чтобы убрать * и нужен $ в конце строки.