Случайно в роботс закрыл весь сайт от индексации

J8
На сайте с 27.06.2017
Offline
11
1980

Видел в вебмастере, что в индекс периодически, пусть и 1-2 за неделю лезут страницы, в которых присутствует знак вопроса после сайта. И поставил в роботс

Disallow: /*&*

Disallow: /*#*

Disallow: /*?*

Было это 21-го или 22-го апреля.

Как мне объяснили после письма от яндекса этим я закрыл свой главный сайт от индексации.

Сегодня утром яндекс прислал письмо: При последнем обращении к файлу robots.txt сайта наши роботы обнаружили, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.

Конечно я тут же поправил файл роботс и в вебмастере нажал значок проверить. На данный момент все страницы в индексе и на тех позициях, что были ранее. Но и текстовый апдейт последний включает документы по 20-е апреля, а роботс я менял позже.

Подскажите, что теперь делать, чтобы яндекс в следующий ап не выкинул сайт из индекса. И что делать, чтобы сохранились позиции, которые были. Или всё обойдётся и так и ничего не будет? или верёвку с мылом готовить?

ТР
На сайте с 24.09.2016
Offline
224
#1
John88:
Видел в вебмастере, что в индекс периодически, пусть и 1-2 за неделю лезут страницы, в которых присутствует знак вопроса после сайта. И поставил в роботс
Disallow: /*&*
Disallow: /*#*
Disallow: /*?*
Было это 21-го или 22-го апреля.

Как мне объяснили после письма от яндекса этим я закрыл свой главный сайт от индексации.
Сегодня утром яндекс прислал письмо: При последнем обращении к файлу robots.txt сайта наши роботы обнаружили, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.

Конечно я тут же поправил файл роботс и в вебмастере нажал значок проверить. На данный момент все страницы в индексе и на тех позициях, что были ранее. Но и текстовый апдейт последний включает документы по 20-е апреля, а роботс я менял позже.

Подскажите, что теперь делать, чтобы яндекс в следующий ап не выкинул сайт из индекса. И что делать, чтобы сохранились позиции, которые были. Или всё обойдётся и так и ничего не будет? или верёвку с мылом готовить?

Ждать. Но, можно постепенно запустить страницы в переобход. Скорее всего все же выкинет.

Как копирайтеру хорошо зарабатывать (https://copywriting-tarasov.ru/?p=613) https://copywriting-tarasov.ru/ (https://copywriting-tarasov.ru/) Бесплатный аудит РК в Яндекс.Директе
VG
На сайте с 30.04.2017
Offline
86
#2

а каким образом сайт от индексации закрылся?

в строчках нет команды закрыть весь сайт

у меня например строчка Disallow: /*?* в роботе уже пару лет точно есть)

AlexStep
На сайте с 23.03.2009
Offline
354
#3

ТС, а адреса страниц у вас как выглядят.

LT
На сайте с 26.05.2013
Offline
36
#4

Не паникуй, все норм будет. Закрытие от индекса, это disallow: /

Если переживаешь, то... можешь черкнуть статью и закинуть ее в индекс + соц. сети (друзей попроси сделать репост, а не лайк), в частности ВК и Твиттер... - это покажет, что все норм.

У некоторых сайтов вообще нет robots, и что, их теперь не индексировать ?) Robots - это рекомендации, решение остается за ПС.

Яндекс "с горяча" может исключить из поиска, только при грубом нарушении (клоакинг... редирект и т.д.), даже, если на ваш сайт устроят нагон трафика роботами/редиректами (поисковая пессимизация), яшка не накажет, только(!) если это делаете не вы...

Было дело, "редиски" гнали трафик хламный, в итоге поведенческие и т.д. немного проседали... Написал Яндексу/Гуглу - ответили, что все норм, если это не мы делаем =)

Как Яндекс/Гугл определяет мы/конкуренты - я не буду писать, это долгая история =)

EstranhoRu
На сайте с 01.04.2014
Offline
112
#5

да не смертельно, есть сайты на которых принудительно ставишь запрет а они не выпадают месяцами :)

Продвижение сайтов любой тематики (http://estranho.ru). В поиске интересных проектов.
R
На сайте с 10.09.2016
Offline
30
#6

Строчка Disallow: /*#* закрывает весь сайт от индексации

ВC
На сайте с 02.02.2006
Offline
459
#7

Однажды я на сайте вел большие переделки и не хотелось, чтобы в индекс попал промежуточный вариант. А потому умышленно запретил к индексации весь сайт.

Получил от Яндекса такое же письмо.

Спокойно все доделал и через неделю снял запрет.

Роботы Яндекса быстренько переиндексировали весь сайт.

Так что это даже на пользу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий