indan

На практике я понял, что вот как раз это и не работает.

Обновляйте хоть каждый день, хоть два раза в день.

Пишите уникальные тексты, и вообще...

Роботам это до фени.

Можно еще попробовать прыгать на табуретке. :)

PS.

А потом все это очень легко проверить.

Я поставил, то что искал вчера на сайт. на главную поставил 2 дня.

Пока заходил только робот яндекса.

Как только будут заходить и другие роботы (гугла скажем)

Можно будет проследить через какой промежуток времени он (они) опять зашел (зайдут)

Тогда не существовала бы такая директива :)

А контентом гурманы пусть балуются. Естественно, без контента никуда. Только плачут. Нет индексации. Старые кеши заполонили интернет по самое немогу. Сколько страниц битых, вы замечали?

И вообще, много умеют понимать роботы что написано. Вкусно или не вкусно?

И к тому же у роботов свой "вкус"

Существует множество факторов. Но директива роботам заходить так как вы хотите и требуется - это один из факторов.

robots.txt не правильно написан.

У вас:

User-agent: Yandex

Host: textera.ru

User-agent: *

Sitemap: h++p://textera.ru/sitemap.xml

__________________________

Требуется:

User-agent: *

Disallow:

User-Agent: Yandex

Disallow:

Host:http://textera.ru/

____________________

PS. как насчет Sitemap: я не знаю!

но

1.

после User-agent:

Должен обязательно стоять:

Disallow:

Без него файл не читается правильно роботами.

2.

Yandex -роботу прописывается отдельно (вторым , после всех), но так же с Disallow:

_____________

Но причина может быть в другом. NB!

Поэтому посмотрим что скажут мастера.

Не ради спора. Вы оставайтесь при своем мнении, я при своем.

Файл index.php является основным файлом сайта, таким файлом, с которого заходят на сайт.

Вы можете ставить http:/______.ru/ можете ставить http:/______.ru/index.php - не имеет значения И роботы поисковиков и люди заходящие на сайт загружают в свой браузер именно этот сайт.

Закрывать ему доступ роботам поисковиков так же нелепо, как закрывать доступ вообще на сайт

Рассмотрим на этом сайте, для этого форума запреты для роботов:

Disallow: /usercp.php

Disallow: /misc.php

Disallow: /online.php

Disallow: /report.php

Disallow: /postings.php

Disallow: /private.php

Disallow: /sendtofriend.php

Disallow: /register.php

Disallow: /newthread.php

Disallow: /newreply.php

Disallow: /editpost.php

Disallow: /warn.php

Disallow: /search.php

Disallow: /search_forum.php

____________

И где вы видите запрет на вход на ОСНОВНУЮ СТРАНИЦУ сайта?

Подобный запрет: Disallow: /index.php говорит за то что главная страница сайта не индексируется роботом.

Если не индексируется, он не может попасть в рейтинг сайтов в поисковиках.

Другие страницы попадут (если не стоит запретов)

Здесь могут писать все что заблагорассудиться и кому заблагорассудиться.

Но ни на одном сайте, где идет разговор о файле robots.txt и как его ставить и что писать, подобной галиматьи я не встречал.

Роботы не могут! делать двойную индексацию (дублировать) исходя из директории - файл.

потому что ДЛЯ ВСЕХ:

http:/______.ru/ http:/______.ru/index.php

Это одно и тоже.

Если роботу написать:

Disallow: /

Это значит в корневом каталоге ничего не индексировать (и вообще сайт) (в том числе и файл index.php)

Эта та же история что с файлом index.html (который является запускающим файлом)

PS. меня поправили, что написано: Disallow: /index.php/

Что является запретом на директорию.

Но такой директории НЕТ!

И как будет рассматривать робот такой ляпсут - НЕИЗВЕСТНО!

Он может проигнорировать, а может запретить к индексации файл index.php

Этот вопрос я не знаю и не смею утверждать.

Давайте вопрос оставим открытым. Будем считать что я ошибаюсь, а вы правы.

Мне нравится такая дотошность :)

Да, девушка востребована:)

Расхватывают как горячие булочки.

А вот насчет головы в которой уже зреют проекты, как это оттяпать у нарушителя авторского права изрядную долю....

Тут я сильно сомневаюсь.

Нет, если разговор идет об одной крупной фирме, которая слямзила у другой очень крупной фирмы брендовый рисунок, я думаю игра стоила бы свеч, но тут....

Чисто о художественной и литературной стороне вопроса (а другое не обсуждаю)

Очень мрачно!

Текст на зеленоватом фоне:

поздравления,тосты ,подарки,сценарии праздников -- черный.

просто убивает!

Дальше не лучше.

PS. даже сайты "все для похорон" должны быть чуточку изящьней и светлее :)

пример:

ритуальные услуги

О литературной стороне:

Тосты, поздравления... мне напоминают серийного "тамаду", которого пригласили за деньги и по заученным трафаретам он произносит всю эту белеберду.

При этом гости пьянные и уже не слушают его, да и сам тамада выпил и нажрался изрядно.

Возьмем к примеру :

За гостей

текст:

В джунглях жила стая волков. Вожак стал был очень старый. И когда стае пришлось идти на охоту, вожак сказал, что не в состоянии вести стаю.

................

Концовка:

Тогда было просто семь охотников, а в этот раз были три лучших друга.

Так выпьем же за дружбу!

_____

Я думаю к концу все гости будут под столом :)

Я бы (на мой характер) запустил бы в такого томаду фужером :)

__________________________

__________________________

Очень прошу не обижаться!

Лучше горькая правда, чем сладкая ложь.

Да я понял, представил некую вариацию на эту тему.

Причем я подобные картинки тоже видел, с тем же подчерком (по образованию я художник) Но я еще больше заметил. Потому что все фотографии не уникальные.

Но возникает другой вопрос.: Ну и что?

Где вы в интернете видели на сайтах уникальные фотографии, рисунки? Да такие есть, но... много-много и других, вовсе не уникальны. Однако эти сайты не вылетают.

Не знаю как смотрят поисковики на уникальность текста (даже открывал тему и к выводу не пришел) где уж рассматривать вопрос об уникальности фотографий, рисунков.

А если были претензии со стороны автора?

Были или не были?

Незнаю.

А вы?

PS.

Вообще я понял и другую глубину вашего вопроса, но перечтя ваш ответ.

Знаете... как это не печально, то что в интернете где-то когда-то напечатано - это уже принадлежит всем. Автор может стоять в сторонке, нервно куря.

Авторское право?

Я поставлю многоточие..........

Вы еще спросите про все остальные фотографии. :)

Глубоко копаете :)

Я не знаю что вы курите и где вы курите.

Посмотрите сотню сайтов. Стоящих на первых местах в рейтинге и найдите в файле robots.txt их сайтов данную строку: Disallow: /index.php

Ну хотя бы вот сайт - этот форум. Загляните в его файл для роботов. :)

Вопрос закрыт!

Как это ни при чем?

Каким образом робот будет находить страницы, что бы их индексировать?

Вы позакрывали практически все директории что бы робот туда заходил.

Но мало того запретили роботу индексировать первую страницу, потому что записали запрет.

Но именно на первой странице ( index.php ) у вас и написано, где какие страницы и ссылки на них.

Будет ли робот идти дальше по сайту?

Нет не будет.

Будет ли индексировать ВСЕ страницы сайта?

Нет не будет.

__________________________

indan добавил 30.10.2010 в 19:35

PS.

Вот ваш: robots.txt в неглиже:

User-agent: *

Allow: /images/stories

Allow: /components/com_virtuemart/shop_image/product

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /editor/

Disallow: /help/

Disallow: /images/

Disallow: /includes/

Disallow: /language/

Disallow: /mambots/

Disallow: /media/

Disallow: /modules/

Disallow: /templates/

Disallow: /installation/

Disallow: /index.php/

Disallow: /add-item-to-your-cart/*

Disallow: /*index.php?orderby*

Disallow: /*orderby=product_name*

Disallow: /*com_search*

Disallow: /*shop.product_details*

Disallow: /price.html

Я подчеркнул упомянутый мной запрет ВСЕМ РОБОТАМ индексировать первую страницу (а index.php - это и есть главная - первая страница)

И что изволите роботам индексировать?