- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
angel57, роботс тут зачем? Нафига весь этот мусор сюда тянуть?
роботс тут вообще ни при чём. Ковыряйте серверные настройки, права доступа в CMS и вот это вот всё.
У вас там компьюторщик же есть? Вот пусть он.
Программисты смогут, если с ними поговорите по существу, а не загадками, как в этой теме.
да какие загадки
вот сайт
www.ufa-opalubka.ru
сам по себе открыт
но при любой программе сео не дает ничего парсить
проблема в роботс? или еще в чем?
в чем именно? можете точно подсказать?
но при любой программе сео не дает ничего парсить
А потому что не надо ставить кучу потоков, а надо ставить паузы.
роботс тут вообще ни при чём. Ковыряйте серверные настройки, права доступа в CMS и вот это вот всё.
У вас там компьюторщик же есть? Вот пусть он.
Puls-cen - портал , программисты странные - не особо идут на диалоги. отговорки - что сайт закрыт от парсинга конкурентов товаров
Хочу по факту им сказать что не так, чтобы чисто на нашем сайте это изменили
---------- Добавлено 06.02.2020 в 12:26 ----------
А потому что не надо ставить кучу потоков, а надо ставить паузы.
смотрите в сеофрог что задать? или в мегаиндекс? или сайтрепорт? или в Proomopult парсинг метатегов???
дайте совет конкретный, пожалуйста.
---------- Добавлено 06.02.2020 в 12:27 ----------
https://webliberty.ru/wp-content/uploads/2010/10/Analiz-robots.txt-v-YAndeks.png
на примере моего сайта что там должно выйти???
дайте совет конкретный, пожалуйста.
Ок, конкретный совет: seo, интернет и вообще компьютеры явно не ваше. Бегите от них.
А, так речь про лягушку.
Ну, попробуйте User-agent поменять с фрога на гугловского, например. Там,вероятно, настройки от левых ботов на серваке.
Puls-cen - портал , программисты странные - не особо идут на диалоги. отговорки - что сайт закрыт от парсинга конкурентов товаров
Не будут они изменять настройки. Придётся обойтись без парсинга. Или дорабатывать паука.
angel57, роботс тут зачем? Нафига весь этот мусор сюда тянуть?
Не я начал вообще-то, вопрос был про роботс
Не я начал вообще-то, вопрос был про роботс
Вопрос был про ошибку 403, а роботс приложили вместо подорожника.