- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Слово даю - было такое :)
Что мне слово... Зуп давай! 😂
Что мне слово... Зуп давай! 😂
держи)
Специально закрыл сайт от индексации до того момента, пока его не подготовлю, чтобы не загадить первичные ПФ. А он, скотина, взял и внес в индекс
держи)
Ок! Вставка зуба щаз под 40 тыров.
Проводим ехпиримент.
Создаем сайтег в адну страничку про фиолетовороботов и их ПС-ы с уником текстом
и роботс такого содержания:
Disallow: /
Пихаем во всй аддурилки и смотри результ.
В Гугле она быть должна, а у Яндекса - нет.
Идет?
Котрольный срок - согласуем.
Идет?
Нет, не идет. Мой случай мог быть единичным или глюком. Но он был. Я ж не говорю, что директива в принципе не работает
Создаем сайтег в адну страничку про фиолетовороботов и их ПС-ы с уником текстом
и роботс такого содержания:
Ты реально не видел страницы, которые в индексе сидят, будучи запрещёнными в robots.txt? Я про Яндекс, еси чо. С Гуглом и так всё понятно.
в отличии от ответа сервера отдайте 404 ответ
Да два с лихом года уже отдаю 404, всё равно откуда-то находит. Показывать не буду, параноик я.
Мой случай мог быть единичным или глюком.
В 99,9% случаев - глюк сидит за клавой. :)
То, что ошибки допускаем все мы - это тоже 100% очамвидный факт.
На днясь перебирая двешок сатика лоханулся и часть ссылок пошла в никуда.
Схватился через неделю заметив снижение трафа и активности.
Так шта...
- И на Шлакбаум бывает проруха. ;)
---------- Добавлено 08.03.2012 в 16:50 ----------
Ты реально не видел страницы, которые в индексе сидят, будучи запрещёнными в robots.txt?
Тынц дашь?
В 99,9% случаев - глюк сидит за клавой. :)
То, что ошибки допускаем все мы - это тоже 100% очамвидный факт.
На днясь перебирая двешок сатика лоханулся и часть ссылок пошла в никуда.
Схватился через неделю заметив снижение трафа и активности.
Так шта...
- И на Шлакбаум бывает проруха. ;)
Ок. Привожу доп. аргумент:
Когда столкнулся со столь вопиющим Privacy Violation - я сразу полез искать свои ошибки. Думал увольняться пора. Залез в robots, поспрашивал коллег - все со мной были согласны. Пошел вот сюда и начал вводить УРЛы.
Там Яндекс был согласен, что сайт к индексации запрещен. А вот его индекс говорил об обратном. эка?
эка?
И ты прав и яндекс нелев.
Но:
Правда всегда одна
Это сказал фараон
Он был очень умен
И за это его называли Тутанхамон
На сайте стоит аналитическая система, которая контролирует посещение страниц роботами. И по ней видно, что Яндекс посещал и страницы, запрещенные к индексации в robots.txt
роботы есть разные ...
страницы, которые не предназначены для индексации роботов, секретные, нужно отдавать кушать, либо 404 ошибку, либо редиректить на главную и всё.
в robots.txt "секреты" не открывают.
почти -формирование вида страницы в гугле
у Яши проверка на вирусы
Ну прям почти.
Кому интересно [ATTACH]105274[/ATTACH]
Сначала ReadMe.txt
Потом распакуйте папку, в ней три файла, проверите чего и как... нет ли чего вредного.
for-Bots.xml — уникализировать и показать боту.
Во всяких «аналитических системах» проверять: запрашивают ли боты user.js — в котором копипаст стартового поста.