- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суточек.
Возник вопрос, переносил старый shop script на новую версию shop script 5 - все товары, категории и страницы подклеились 301 редиректом. Старые адреса были вида index.php?catid=33 и т.д и т.п - новые соответственно были SEF url с нормальными описаниями. После переноса в robots.txt на версии shop script 5 закрыл Disallow: /index.php? - помешает это роботу склеить страницы, просто все страницы с index.php вылетели из индекса а новые вошли но позиции упали очень неплохо, как то влияет на это закрытие index.php - не могу прийти к нормальному ответу.
После переноса прошло около 2-ух недель. Позиции просели в гугле очень активно а вот в Яндексе все достаточно нормально.
Спасибо за все ответы !
Я так понимаю никто с таким не сталкивался ??? Просто вопрос достаточно интересный и может ли быть такая проблема при такой инструкции в robots.txt.
Конечно, не поклеит, в роботсе ведь запрещено, лучше потратьте время и сделайте норм редиректы 301 через htaccess
Спасибо за ответ.
Так там со старых адресов вида index.php везде стоял и стоит прям щас 301 редирект. Просто что бы дублей в выдаче не было я закрыл все страницы вида index.php? и еще по техническим причинам тоже это сделал.
Вопрос помешало или помешает это роботу ? Он же все равно должен увидеть что там 301 редирект ? Раньше проблем не было таких. Просто новые URL уже показываются в выдаче но позиции их ниже старых....
Вопрос помешало или помешает это роботу ?
Конечно помешает. Он их просто сканировать не будет.
Конечно помешает. Он их просто сканировать не будет.
Я встречaл в выдaче стрaницы, которые зaпрещены в роботсе. В снипете пишется "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но в выдaче онa есть. Вопрос только, кaк он тaкие стрaницы будет склеивaть.
A тс, я бы посоветовaл открыть в роботсе стaрые стрaницы, в выдaче и в яндексе и в гугле прaктически срaзу встaют именно новые стрaницы, если со стaрых вы постaвили редирект. В индексе стaрые остaются продолжительное время, но в выдaче по зaпросaм появляются стрaницы с новыми урлaми. По логике стaрые урлы должны сaми пропaсть из индексa без зaкрытия в роботсе, только нужно подождaть.
Я уже снял инструкцию к запрету, вопрос в том остались ли эти страницы в другом индексе или эти адреса вообще уже потеряны и тогда эти страницы не проклеются и не покажутся на нужных местах.
А если в robots.txt - User-agent: * - не было указано, то он будет смотреть все инструкции которые шли после него ?
Я встречaл в выдaче стрaницы, которые зaпрещены в роботсе. В снипете пишется "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но в выдaче онa есть.
Вы просто не понимаете, как это работает. Обсуждалось неоднократно.
---------- Добавлено 17.07.2014 в 18:11 ----------
А если в robots.txt - User-agent: * - не было указано, то он будет смотреть все инструкции которые шли после него ?
Не совсем, понятен вопрос. Если робот определенной системы, не найдет для себя раздела, то будет использовать основной с *
Вы просто не понимаете, как это работает. Обсуждалось неоднократно.
---------- Добавлено 17.07.2014 в 18:11 ----------
Не совсем, понятен вопрос. Если робот определенной системы, не найдет для себя раздела, то будет использовать основной с *
Если вообще User-agent не было в файле robots.txt он исполнит секцию Disallow: ?
Disallow:
только это? И больше ничего? ХЗ. Должен вообще игнорировать. Так как он спецификацию тогда нарушит.
только это? И больше ничего? ХЗ. Должен вообще игнорировать. Так как он спецификацию тогда нарушит.
Так то да, этой строки в файле не было, но он помоему все равно работал, хотя без нее он должен был файл проигнорировать.