В файле robots.txt должен быть прописан путь к xml карте сайта, а так ни чего особенного в нем нет?
По вашему получается что все сайты которые не в топе под фильтром?
А почему вы решили что под фильтром? Ваш сайт прекрасно индексируется, а продвижение в Гугл совсем другой разговор. Можно начать с создания карты сайта и добавления ее в панель для вебмастеров Гугла.
А вот ваш файл robots.txt
User-agent: *
Disallow: /404
Disallow: /default/
Disallow: /%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C
Disallow: /%D0%BF%D0%BE%D0%B7%D0%B2%D0%BE%D0%BD%D0%B8%D1%82%D1%8C
он что означает?
1. Нужно представлять как работает поисковая система Гугл. Я имею в виду не алгоритм, а сам принцип ее работы.
2. Если ваши сайты не попадают в поиск значит не все так плохо.
3. Переводчик может и плохой но лучше все равно никто не сделал.
4. Усли лень читать 1500 страниц скачайте какой нибудь видеокурс на торрентрекере и смотрите перед сном. Все поймете.
Почитали комментарии-посмеялись, а теперь серьезно.
Вы какой сайт продвигаете www.aquafantasy.ru или aquafantasy.ru ? Показатели первого: ссылок с
Яндекса 1131 с Гугла 56300 , а второго с Яндекса 1351!! с Гугла 20300!! Почему вас нет в ДМОЗ? За Як же денег не пожалели. Сократите Title короткие четкие предложения понятные роботу. В Description слова: купить, продать и т.д напишите в конце, а не начинайте с них, поиск Гугл это не доска объявлений.
Всем спасибо исполнитель нашелся.