- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пытаюсь в screaming frog seo spider просканировать часть сайта, в настройках роботс для проги указал следующие правила:
User-agent: *
Disallow: /
Allow: *chekhly-na-sidenya*
т.е. меня интересуют только урлы, содержащие chekhly-na-sidenya
Однако screaming frog не бурёт в расчёт Allow и пишет, что сайт закрыт в роботс.
Кто нибудь знает как победить или может другой софт посоветуете?
Для начала заменить Allow: *chekhly-na-sidenya* на Allow: /*chekhly-na-sidenyа - ну и если не раздуплится то все, пиши пропало.
Для начала заменить Allow: *chekhly-na-sidenya* на Allow: /*chekhly-na-sidenyа - ну и если не раздуплится то все, пиши пропало.
Пробовал, не пашет..
Потому что спецификацией формата robots.txt не определен приоритет allow/disallow в случае использования подстановочных знаков, например звездочки: https://developers.google.com/search/reference/robots_txt
По правильному, это надо делать не через robots, а штатными средствами софта, например фильтром Configuration -> Include: https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/
This feature allows you to control which URL path the SEO Spider will crawl via regex. It narrows the default search by only crawling the URLs that match the regex which is particularly useful for larger sites, or sites with less intuitive URL structures. Matching is performed on the url encoded version of the URL.
По правильному, это надо делать не через robots, а штатными средствами софта, например фильтром Configuration -> Include: https://www.screamingfrog.co.uk/seo-...configuration/
Понимать бы ещё в этом 😎
Вообще там по ссылке, к слову, написано
Вообще там по ссылке, к слову, написано
Ну инглиш у меня вери вери бед, а в гуглпереводе это звучит так:
Лично я ничего не понял...
Ну все он правильно перевел, чего неясного то? Вам на кнопочку если надо нажать, то это не сюда, напрягите хоть чуть мозг, если он есть - сказано четко и прямо.
Понимать бы ещё в этом 😎
Что именно не понятно? 🤪
В меню выбираете Configuration -> Include и указываете регулярку .*chekhly-na-sidenya.*
Ну это подходит только в случае, если нужные урлы лежат в одной папке, например, если надо отсканить всё, что лежит в /articles/, /news/, /categories/covers/ и т.п - при правильном ЧПУ на сайте так и должно быть. Для случаев, когда нужно вхождение в любом месте урла, надо использовать Include-правила на основе регулярных выражений.
надо использовать Include-правила на основе регулярных выражений.
Совет слишком сложен для тс.
Что именно не понятно? 🤪
В меню выбираете Configuration -> Include и указываете регулярку .*chekhly-na-sidenya.*
Премного благодарен сударь!
Совет слишком сложен для тс.
есофкос