Все вопросы по robots.txt

H
На сайте с 01.04.2014
Offline
571
Had
#1001
Maxim-KL:
Нескромный вопрос, почему неправильно?)

Читал давно мануалы Яндекса и там было чётко написано, что с хттп неправильно.

E
На сайте с 27.05.2009
Offline
74
#1002

Здравствуйте. Кто-нибудь сталкивался с подобным? Сможете помочь закрыть от индексации подобные ссылки в роботс? Командой дизаллоу /? все сразу не могу пока закрыть. Есть нужные ссылки.

Вот подобное вебмастер засек. не знаю как. http://joxi.ru/V2VaDoYCxVRx6m

> https://novayagollandiya.ru/?155[1678650530]=51%20роза&155[2324139272]=101%20роза&156[1079288713]=&156[3136564918]

https://novayagollandiya.ru/?155%5B1678650530%5D=51%20%D1%80%D0%BE%D0%B7%D0%B0&155%5B2324139272%5D=101%20%D1%80%D0%BE%D0%B7%D0%B0&156%5B1079288713%5D=&156%5B3136564918%5D=>

https://novayagollandiya.ru/?154[2158199611]=Моей%20любимой&155[2324139272]=101%20роза&155[2977132244]=25%20роз&156[2360728836]=

Спасибо.

D
На сайте с 10.02.2012
Offline
101
#1003

Верно ли настроен Robots. Все ли я учел?

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/
Disallow: oskar27.ru/uslugi/terapiya
Disallow: oskar27.ru/uslugi/ortodontiya
Disallow: oskar27.ru/uslugi/ortopediya
Disallow: oskar27.ru/uslugi/implantologiya
Disallow: oskar27.ru/uslugi/hirurgiya
Disallow: oskar27.ru/promo
Disallow: oskar27.ru/kontakty
Disallow: oskar27.ru/sertificates
WIKIMEO
На сайте с 20.05.2015
Offline
297
#1004

Это Друпал, так понимаю)

А где Host: http://oskar27.ru?

⭐⭐⭐ Увеличу доход в Adsense, РСЯ, тизерках по своей методике: https://searchengines.guru/ru/forum/1015646 . Telegram: @DiamantG (https://t.me/DiamantG), Skype: eurobulgary ⭐⭐⭐ 💎 Adfinity - рекламная сеть 💎
adel92
На сайте с 04.01.2012
Offline
334
#1005

Host

Sitemap

И вроде все, иногда делят по юзер агентам

Яндекс, гугл и остальным больше запретов

NVMe VDS (https://well-web.net/nvme-vps) с поддержкой 24/7 - от 545 руб.! Безлимитный хостинг (https://well-web.net/ssd-hosting) - от 129 руб.! Домен в подарок! Перенос бесплатно! Заказывайте сейчас, и получите скидку 50%! Заходи! (https://well-web.net/limited-offers)
D
На сайте с 10.02.2012
Offline
101
#1006
adel92:
Host
Sitemap

И вроде все, иногда делят по юзер агентам
Яндекс, гугл и остальным больше запретов

Добавил. Еще какие то нужны отдельные запреты по страницам?

G
На сайте с 18.12.2016
Offline
9
#1007

Здравствуйте. Я составил файл robots.txt по совету одного человека. Не знаю насколько он правильный. Взгляните пожалуйста и подскажите что исправить.

Сайт http://kinozed.com/ . Это кино сайт и я запретил индексацию фильмов в разделах (жанр, год, страна) дальше 1 страницы, так как все они есть уже на главной. Это для отсутствия дублей.

Это правильное решение или смысла от этого нет?

С сериалами проще - на главной их нет.

Фильмы онлайн (http://kinotyt.com/) Телеканалы онлайн (http://krutoetv.com/)
R4
На сайте с 01.10.2016
Offline
75
#1008

Всем привет.

Как прописать robots.txt чтобы от индекса была закрыта конкретная страница (а не весь раздел)?

IS
На сайте с 12.12.2016
Offline
9
#1009

User-agent:

Disallow: /folder/file.php

CS
На сайте с 01.05.2017
Offline
5
#1010

Правильнее будет так


User-agent: *
Disallow: /page/disallow-page

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий