богоносец

богоносец
Рейтинг
777
Регистрация
30.01.2007

Морально неустойчивам верующим, не слишком туго обученным грамоте в церковно приходской школе, может быть интересно сомнительное чтиво /ru/forum/822367

sir Nicholas:
Документ ROBOTS.TXT сугубо для роботов ПС.

Поскольку роботы поиском пользоваться не должны, по inurl:sitemap.xml filetype:xml тоже ничего искаться не должно, а бот щукин вам ещё объяснит, что XML-документы не индексируются и пр. блабла (и в Яндексе сайтмапов почти нет, но это не значит, что вам не соврали). Т.е. по таким простецким вопросам полезнее проводить проверки, чем верить в то, что это сугубо для роботов.

sir Nicholas:
Я на многих сайтах закрываю файлы txt от индексации.

Его содержимое при этом учитывается?.. по проиндексированному.

В сервисах для вебмастеров какие-то уведомления по этому поводу были?

edogs:
В питере пошла мода брать с обоих, только с покупателя "явно", а с продавца "втихаря". Покупатель типа платит 50 тысяч комиссию и думает что все в ажуре, ура-ура со сделки всего 50 кусков отвалил. Но продавец по договору из своих полученных 4млн еще агенту должен тысяч 200 отвалить, чего покупатель просто не видит, поскольку агент, беспокоясь о его нервной системе, тщательно оберегает покупателя от этой информации 😂

Об этом продавец с покупателем могут поговорить до сделки.

Может быть и 20 / 100 (не в питере), если продавец обратился в агентство... которое ещё ищет покупателя (при этом размещая только бесплатные объявления). Но если в агентство обратится покупатель, то всё изменится. А про тн оформление сделки (составление договора и отнесение его в регпалату + возможные его правки потом с регистрацией вчерашним числом) слышал и про 30т, а вот про сопровождение для второй стороны не уточнялось.

Да, действительно, а в другом примере нет пустых строк между секциями.

Ну тогда можно попробовать.

project33:
индексация robots.txt и выполнение директив robots.txt это как бы разные вещи

Теоретически да, но

Disallow: /sitemap.xml # когда-то пробовал, GWT и ЯВМ стали ругаться на запрет сайтмапа, эксперимент был прекращён.

Но на закрытость роботса ругаться наверное не должны, хотя не пробовал.

Шаров Александр:

И еще одна проблема: Presta режет адрес. То есть делает структуру такого вида:
Главная/Подраздел/Страница товара

А вы не осознаёте подразумеваемого отождествления структуры сайта со структурой урла, хотя это разные вещи.

Вот завтра возникнет желание поместить товар сразу в несколько разделов (чтобы его могли найти разные пользователи), а хз что с именем Presta этого не даст сделать.

Есть разделы (увы, запечатлённые в урле, что делать вредно)

/бытовая техника/

/инвентарь/

/товары для дома/

вот накидайте туда: веник, совок, пылесос. Чтобы самые разные люди это смогли найти. И посчитайте дубли...

ValD:
Robots в индексе и не должен присутствовать (как и xml-сайтмап).

Пробовали сайтмап закрывать?

ALTA:
Естественно Disallow: /robots.txt 🚬

https://www.google.ru/search?q=filetype%3Atxt+inurl%3Arobots.txt%E2%80%8E+%22Disallow%3A+%2Frobots.txt%22

Ниполучаетца http://www.google.com/search?q=site%3Awww.moeglydesign.com%2Frobots.txt+%22Disallow%3A+%2Frobots.txt%22%E2%80%8E

87793:
В ожидании чего именно?

В ожидании краха веры населения в рубли, которых накопилось слишком много. Их понесли менять на СКВ или на квартиры и пр. товары?

Что-то плохое у вас серваком, если попытаться посмотреть проиндексированное.

Всего: 13677