- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Я правильно понимаю, что корректно запись должна выглядеть так?
Disallow: /*/*/*?
Allow: /*/*/*/*
Вебмастер Яндекс начал ругаться что нету Robots.txt ,хотя он был .
В ошибках было указано что в коде :
Disallow: /forum/index.php?act=Print
Disallow: /forum/index.php?act=calendar
Disallow: /forum/index.php?act=Stats
Disallow: /forum/index.php?act=Forward
Crawl-delay: 3
Clean-param: s&mode /forum/
Clean-param: forceautomobile
1)Host: www.rjevka.com
User-Agent: Googlebot
Crawl-delay: 5
Clean-param: forceautomobile
Clean-param: s
Clean-param: mode
2)Host: www.rjevka.com
User-Agent: Google
Crawl-delay: 5
Clean-param: forceautomobile
Clean-param: s
Clean-param: mode
3)Host: www.rjevka.com "
Два лишних "Host: www.rjevka.com" . Я удали два первых и остался только 3. Так можно делать ?
Нет, нужно и третий удалить.
В сети миллионы текстов про robots.txt.
Но каждый раз люди творят какую-то дичь.
Host для Google прописывают, user-agent новые придумывают, не следят за новостями, ставят директивы crawl-delay, а потом жалуются, почему Google не любит мой сайт.
Нет, нужно и третий удалить.
В сети миллионы текстов про robots.txt.
Но каждый раз люди творят какую-то дичь.
Host для Google прописывают, user-agent новые придумывают, не следят за новостями, ставят директивы crawl-delay, а потом жалуются, почему Google не любит мой сайт.
я новичек и много не знаю.
Я удалил, так как и сегодня он ругался. Буду смотреть дальше.
А так в принципе все дальше верно ?
ау, есть кто шарит ?
Disallow: /shop/*
Allow: /shop/
Как сделать чтобы все производные от shop не индексировались, а сама страница shop индексировалась?
Как сделать чтобы все производные от shop не индексировались, а сама страница shop индексировалась?
Allow: /shop/$
Disallow: /shop/*
Нет, нужно и третий удалить.
В сети миллионы текстов про robots.txt.
Но каждый раз люди творят какую-то дичь.
Host для Google прописывают, user-agent новые придумывают, не следят за новостями, ставят директивы crawl-delay, а потом жалуются, почему Google не любит мой сайт.
Директива Host для Яндекса теперь тоже не нужна))
Google кладёт на лопатки яндекс без боя. Слабые работники работают в яндексе. Низкая конкуренция, ни кто стараться не хочет.
Недавно переехал на безопасный протокол, уважаемый Google после всех настроек , сайт принял нормально, за-то яндекс - до сих пор ни как не хочет работать по новому протоколу корректно. Всегда твердил, что если работать, то только на иностранцев. Наши как дубы, только делают вид что умные.
Добрый день. Давно не делал сайты. Сейчас запустил несколько на вордпрессе и оставил для индексации только нужные страницы и форум на IPB запустил. Вот думаю нужно в роботсе Disallow прописывать для кучи мусорных страниц форума или лучше не трогать?
Почему есть сомнения - потому, что раньше без этого форумы нормально индексировались, поисковики знают движок и думаю представляют что это такое. Вот думаю как бы хуже не наделать и может не торогать его?