- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сегодня нашел свежую статью, в которой говорится о том, что паук сначала читает весь файл полностью, а затем выбирает, что именно ему предназначено. Тоесть стандартный файл :
User-agent: *
Disallow: /fale/
Disallow: /fale2
User-agent: Yandex
Disallow: /fale/
Disallow: /fale2
Host: www,site,ru
должен понравится всем.
Но в другой (не старой) статье написано обратное.
Что скажите Профессора ?
Scmaks, пробуйте валидатор роботса в Яндексе. Точнее, чем он никто не скажет, как Яндекс воспринял Ваш роботс. (имхо)
Scmaks, скажу что, раз Яндекс для продвижения в рунете важен, то его на первое место ставить, а все остальное потом.
Тут у меня возник спор, понимает ли Яндекс в User-Agent параметр звёздочка ( * ) или же ему отдельно нужно прописывать пути. Киньтесь ссылочкой авторитетной, пожалуйста или ответься на вопрос.
jason32, понимает, если для него отдельный юзер-агент не прописан.
Может, действительно, стоит прилепить тему с FAQ по роботс тхт и зеркалам с ввв и без? Кто что скажет?
6666, не стоит, есть неординарные случаи иногда. Да и есть википедия, я б туда добавил бы faq по слейке, но что-то не могу понять каким образом туда добавляется информация.
User-agent: Googlebot
Disallow: /
User-agent: Scooter
Disallow: /fale/
Disallow: /fale2
User-agent: Slurp
Disallow: /fale/
Disallow: /fale2
User-agent: StackRambler
Disallow: /fale/
Disallow: /fale2
User-agent: Aport
Disallow: /fale/
Disallow: /fale2
User-agent: Yandex
Disallow: /fale/
Disallow: /fale2
Host: www.site_url.ru
User-agent: *
Disallow: /fale/
Disallow: /fale2
Слэш после fale и его отсутствие после fale2 это просто опечатка или какая-то фишка? Если запрещать для индексации ничего не надо, нужно ли ставить после Disallow: этот вездесущий слешь, и вообще имеет ли в таком случае смысол писать в роботс строчки с Disallow: ?
Android, слеш - запрещает только папку, а без слеша и папку и файлы с таким названием. Если пишут Disallow:, значит имеет смысл.
FlyAway, респект за ответ =)