- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В общем, ситуация такая. Оптимизировался сайт. Во время оптимизации сайт был закрыт от индекса через роботс, после добавления в вебмастер - 16 октября, сайт через роботс был открыт и добавлен на индексацию с помощью аддурилки Яндекса.
По прошествии двух недель и соответственно двух апдейтов, сайт оставался не в индексе. Написано письмо в Яндекс (30 октября), о том, по какой причине сайт все еще не в индексе, получен стандартный ответ "спасибо что обратили внимание, в ближайшие 2 недели сайт будет проиндексирован".
Новый ап - 02.11. В Вебмастере появляется запись - 1.11.2014 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.
Так как сайт открыт для индексирования 100 % (иначе он не добавлялся через аддурилку), исключаем возможность того, что на тот момент специалист ошибся с командами в роботсе.
А теперь предыстория - клиент присылает правки от системного администратора. Правки по сайту + замечания, что сайт не индексируется в Яндексе. Получает ответ, что данная ситуация нормальна и сайт начнет в ближайшее время индексироваться. Системный администратор навязывает клиенту мнение, что мы что-то делаем неправильно, на что клиент получает ссылку на роботс.тхт с разъяснениями, что сайт открыт и замечанием на тему непрофессиональной оценки ситуации сторонними людьми.
Теперь вопрос, какова вероятность того, что не совсем умный системный администратор смог каким-то образом подменить роботс без его исправления и без исправления htacces (так как дата залитого файла тогда бы сменилась). Вшитого роботса там тоже нет (сайт разрабатывался нашими специалистами). Или это невообразимый глюк Яндекса?
Доступы у админа к хостингу и прочему имеются, так как там лежит второй сайт ( не наша разработка).
Из-за вот этого всего у нас задерживается оплата за продвижение сайта собственно.
Вероятность, что админ колдовал в роботс варьируется от нуля до 100 процентов, ведь у него есть доступы, но он может не знать как их использовать.
А если серьезно, то 2-3 недели для яндекса не срок, ждите больше (при условии, что на сайте всё нормально на данный момент).
я бы еще хтакес проверил на предмет перенаправления с нормального роботса на левый
Сисадмин может как исправить файлик в соответствии с его убеждениями, так и не трогать его вообще.
У меня на одном из поддерживающих проектов, была ситуация, когда в noindex по ошибке запихнули целую категорию (~300 стр.), после того как со страницы были убраны noindex, был даже обновлен контент на них, сайты неоднократно добавлялись в аддурилку, Яндекс их "съел" спустя 2 мес.
так как дата залитого файла тогда бы сменилась
Не привязываясь к описываемой Вами ситуации замечу - есть такая функция как переименовывание. С помощью нее можно всегда иметь нужные файлы с нужными датами. Больших умений в администрировании не требует, реализуется на любом хостинге посредством того же протокола FTP.
Вопрос Платону:
"Добрый день. Обращаемся повторно. Сайт до сих пор не в индексе, помимо того, после обновления поисковой базы в вебмастере теперь красуется надпись о том, что 1.11.14 робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, при этом вот в таком виде, в каком роботс сейчас, он существует с 16.10.14. Т.е., никакого запрета не было."
Ответ:
"Мы проверили, запрета на индексирование Вашего сайта в файле robots.txt сейчас, действительно, нет. Но срок в две недели, указанный мной в предыдущем письме еще не прошел. поэтому, в любом случае, нужно будет дождаться его окончания, и Ваш сайт сможет появиться в поиске."
Вопрос Платону:
"Проблема на данный момент не в этом, а в том, что у нас при открытом сайте и не измененном robots.txt имеется надпись в Вебмастере - прикреплено в письме. Файл не менялся при этом с 16 октября. Что это вообще может быть? Вшитого robots.txt на сайте нет."
Ответ:
"Это связано с тем, что иногда в Яндекс.Вебмастере может отображаться некорректная дата получения роботом запрета из-за технических ограничений с нашей стороны. Мы уже знаем о подобных ситуациях, надеемся, в скором времени наши разработчики смогут предотвратить их возникновение.
Приношу свои извинения за предоставленные Вам неудобства."
---------- Добавлено 06.11.2014 в 14:01 ----------
Я все-таки склоняюсь конечно к переименовыванию, что это системный админ переименовал файл. Теперь возникает вопрос, как нам сделать так, чтобы системный админ не мог получить доступ к файлам сайта, при этом он является администратором хостинга у клиента. Программист говорит что никак, только с помощью вшитого роботса. Но существует вероятность того, что админ зайдет и еще чего-нить где-нить напишет.
Есть варианты? Или только перенос на другой хостинг?
Что ещё за "вшитый роботс" и как он помешает админу хостинга получить доступ к файлам?
Посмотрите robots.txt через Яндекс.Вебмастер - я сильно сомневаюсь, что коварный админ сможет Вебмастеру демонстрировать один роботс, а Поисковику - другой.
в договоре нужно прописывать, что криворукие действия сотрудников или сторонних личностей, не должны влиять не на оплату вашей работы не на вашу работу в целом.
у меня после открытия для индексации в роботс, почти месяц входил в индекс, я тоже нервничал, но всё благополучно прошло. Сначала долго ругался, что запрешено в роботс, хотя уже было всё исправлено. Яша долго его переваривал, потом долго вводил сайт в индекс. У меня новые страницы по месяцу индексирует почему-то. Быстробот что-то барахлит.
(так как дата залитого файла тогда бы сменилась)
так не проблема выставить любую нужную дату на файл