- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Собственно хотел ссылку купить, а у человека в robots.txt стоит такое:
меня этот "?" смутил, на robotstxt.org.ru про такую комбинацию ничего не нашел, да и на этом форуме тоже..
Это значит, что запрещены к индексации все ссылки начинающиеся с "?" или что-то еще?
Вообще ситнаксис не правильный. Вот ссылка роботс глазами яндекса http://www.yandex.ru/cgi-bin/test-robots и еще одна ссылка про роботс http://www.softdevelop.ru/articles3.html
Это значит что
"Запрещена индексация всех URL, начинающихся с указанных префиксов:
/?"
судя по http://www.yandex.ru/cgi-bin/test-robots
ТС показал урл сайта. всё ок. сайт известный, индексируется нормально.
Вообще ситнаксис не правильный.
Почему же неправильный? Запрещены все url по маске - например: www.site.ru/?id=1234. Что, в принципе, разумно - прикрывает дубли, верный URL такой: www.site.ru/index.php?id=1234
В спецификации
User-agent: *
Disallow: /?
host: www.domain.ru
А у товарища наоборот.
User-agent: *
host: www.domain.ru
Disallow: /?
Я придерживаюсь как написано в спецификации. Или я не прав?
ТС ведь писал про знак вопроса, верно? А насчет последовательности директив...
Директива Host противоречит стандарту robots.txt поэтому блок с ней может игнорироваться другими роботами. В частности, робот Google игнорирует такие блоки.
Поэтому - "а вы, друзья, как ни садитесь" :)
Получается, что по очередность директив не нужно соблюдать? Или как?
Получается, что по очередность директив не нужно соблюдать? Или как?
Обязы! Директивы нужно соблюдать.
но ведь Яндекс ясно сказал - запрещена индексация, значит сайт индексировать не будет, так?
Может он "?" не понял и поэтому решил, что индексировать не нужно?
блин, там ПР 5, купить охота, но... попробую, если через месяц в индексе не будет, значит не угадал
но ведь Яндекс ясно сказал - запрещена индексация, значит сайт индексировать не будет, так?
Может он "?" не понял и поэтому решил, что индексировать не нужно?
блин, там ПР 5, купить охота, но... попробую, если через месяц в индексе не будет, значит не угадал
ТС!
Прочитайте ответы и особенно ответ Каширина.
Сайт индексируется! Всё нормально будет. Покупайте.
Яндекс не понял "?"? :) Да вроде он понятливый...
Concept, купил конечно, для того вопрос и задавал. Но сомнения остались.
Вы видели урл, я проверил его, ответ был " Индексация сервера domain.ru:80 запрещена полностью."
Если не забуду - в этом топике через месяц отпишу - проиндексировал кто-нибудь такую ссылку или нет.