- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Друзья, новый сайт был выложен в инет и в роботсе запрещен к индексации около месяца. Теперь основные работы завершены и индексация разрешена, однако гугл в вебмастере уже неделю пишет, что сайт запрещен к индексации в роботсе. Смотрел загруженный роботс - все ок, проверял страницы на доступность - пишет ок. В чем здесь может быть дело? Даже сайтмап индицируется с ошибками, сколько в нем страниц, столько и ошибок - страница запрещена в роботсе. Или мало времени прошло?
По опыту - за 4 месяца после запрещения индексации в гугле проиндексировано 2 страницы. В этом смысле с яндексом проще (он успел проиндексировать все). Хотя при начале разрешения гугл 1-ю страницу проиндексировал быстрее. Маленькое но: сайт заявлен как основное зеркало ранее существовавшего
Недавно столкнулся с подобным. В сниппете для страниц писал что описание запрещено в роботс, хотя ничего там не было. Это глюк был, прошел сам. Возможно и у вас так же.
Запускал недавно новый сайт, была такая же проблема, если кратко, то последовательность действий такая:
1. Заходите на вкладку "Инструмент проверки фаила robots.txt";
2. Внизу есть красная кнопка "проверить" (через Google Bot);
3. Вбиваете адрес нового роботс, жмете;
4. !!! Вверху, где "Дата последней версии" нажимаете черный треугольник вниз - вываливается список всех когда-либо загруженных роботсов, просмотрите там все, включая последний...
5. Тот фаил, где "Ошибок:0 Повреждений:0" - выбираете и нажимаете кнопку "Отправить"
Через пару дней заходите на эту же страницу - видите новый нормальный роботс. Еще через пару дней появится главная в выдаче вместе со старой, заблокированной в роботс.
Через неделю старая пропадет - началась индексация. Ну а дальше скорость индексации уже от разных факторов зависит.
P.S.: Если все было и так проделано в таком порядке -- просто ждите...иных методов нет...У меня был такой же глюк - эта последовательность действий помогла, причем из списка я выбрал не последний роботс, а какой-то из десятка ранее загруженных :-)
Pliny, спасибо за ответ. Однако роботс стоит без ошибок и предупреждений.
Может нужно немного социальных сигналов?
Я даже не представляю ситуацию для вменяемого вебмастера, когда можно выкладывать сайт не готовый в сеть, да еще и закрывать его при этом в роботсе - жесть.
Villis, и все же...какая была последовательность действий? Как понимать, "новый сайт был выложен в инет и в роботсе запрещен к индексации около месяца"?
Я подразумевал, что Вы в самом начале закрыли сайт от индексации, начиная с первой страницы, и, только когда сайт был готов, сняли запрет, залив новый robots.txt...
Если это было сделано в таком порядке, то, несмотря на то, что WMT показывает вам 0 ошибок и 0 предупреждений, я бы вам порекомендовал проделать те шаги, которые я описал.
Если же вы выложили к примеру 100 страниц неготового сайта в сеть, после закрыли от индексации, а после опять открыли, то вам придется долго ждать переиндексации всего сайта, так как Google попросту не понял что ему делать.
Есть другой вариант: посмотрите что будет, если вы загоните 1 или несколько страниц через гугл бот - появится ли сайт в выдаче? Имеется ввиду "посмотреть как Google Bot".
P.s.: просто я возможно не понял, что у вас на самом деле произошло. Изложите по пунктам и попробуйте все ж скормить гуглу пару страниц.
Я даже не представляю ситуацию для вменяемого вебмастера, когда можно выкладывать сайт не готовый в сеть, да еще и закрывать его при этом в роботсе - жесть.
Обычно такие случаи возникают при работе с партнёрскими магазинами. 🤪 Прикрутил шоп к сайту... и дальше начинаешь колдовать с функциями магазинов, сео и т.д. и т.п.
В подобных случаях я делал так:
1. добивал статейки через аддурилку Гугла.
2. делился рандомными записями через гугл+
3. на след. день часть страниц уже в индексе. остаётся только подождать немного - и всё ок 🍿
Я даже не представляю ситуацию для вменяемого вебмастера, когда можно выкладывать сайт не готовый в сеть, да еще и закрывать его при этом в роботсе - жесть.
Судя по Вашему посту, Вы вменяемый ВМ? Тогда скажите как надо было делать?
---------- Добавлено 09.04.2015 в 21:13 ----------
Villis, и все же...какая была последовательность действий? Как понимать, "новый сайт был выложен в инет и в роботсе запрещен к индексации около месяца"?
Да, именно так и было сделано. Новый сайт залил на хостинг с запретом индекса всех ПС.
Касательно второй части, я уже сегодня так и сделал. Загнал пять страниц, посмотрим схавает ли. Спасибо.
XPraptor, не пойму, почему нельзя ограничить по IP, а потом выложить, вот пример, сделали сайт и теперь выкладываем по пару страничек в неделю..
Домену 19 дней и состоит пока из 3 страниц (коммерция, конкуренция ниже среднего):
SE-0, а какая разница как блокировать бота, в аштиаксесе или роботсе, через айпи или через регулярную директиву? Имхо, можно и так и так.