- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть подозрение, что интересующая страница запрещена к индексированию. Хотелось бы глянуть на robots.txt, не являясь этим самым роботом. Возможно ли это?
Конечно. Просто наберите в строке браузера www.интересующий-вас-сайт.ru/robots.txt
Не, ну так я уже пробовала, потому и написала. :)
Отвечает "Не удается найти требуемую страницу" Ошибка 404. Это значит, что ее нет в природе? Или она так хитро замаскирована? Вроде бы не должна бы, ведь роботы тоже по http ходят.
Значит, нету.
Ну и слава богу, а то у меня уже всякие мысли нехорошие появляться начали.
Ну и слава богу, а то у меня уже всякие мысли нехорошие появляться начали.
У меня есть вопрос чуть интереснее:
Как посмотреть robots.txt, мы только что выяснили.
А как его спрятать? Возможно ли? Чтобы появившиеся нехорошие мысли также бесследно исчезли ;)
можно спрятать все что-угодно ... а можно посмотреть страницу глзами робота ... а может быть дождаться переиндексации или страницу еще раз добавить ручками?
Вот еще один интересный момент: зайдите на http://games.look.ru/ и попробуйте посмотреть его robots.txt. Это будет наверное, интересно.
Это неинтересно. Просто ошибка 404 переправляется на ulitka.ru. Попробуйте любой txt-шник запросить - то же самое будет.
Нет, похоже что немного не так. Посмотрела на этот файл программой check&get. Вот что получилось:
=== START OPERATION <12.11.2002 13:14:51> ===
=== STAGE 1 of EXPLORING URL: http://games.look.ru/robots.txt ===
RETRIEVING http://games.look.ru/robots.txt
Resolving hostname games.look.ru.
Connecting to 195.133.185.13.
Connected.
Chunk Started
**************** HTTP Header ****************
ContentType : text/html
Charset : windows-1251
Last Modified :
Size : 0
*********************************************
Document Title is: "302 Found"
Redirect Requiest to http://www.ulitka.ru/
Disconnecting from 195.133.185.13.
Not connected.
Received 275 bytes
Document Title is: "302 Found"
End of HTTP transaction
Result: 302 Found (302)
Resolving hostname www.ulitka.ru.
Connecting to 195.133.184.4.
Connected.
Chunk Started
**************** HTTP Header ****************
ContentType : text/html
Charset : windows-1251
Last Modified :
Size : 0
*********************************************
Document Title is: "Óëèòêà - êàòàëîã ðåñóðñîâ èíòåðíåò..."
Disconnecting from 195.133.184.4.
Not connected.
Received 19853 bytes
End of HTTP transaction
Result: 200 OK (200)
Disconnected from http://www.ulitka.ru/
Analyzing content...
=== Stage 1 done. ExactCode: 694196476, SmartCode: 1967083425
=== STAGE 2 of EXPLORING URL: http://www.ulitka.ru/ ===
RETRIEVING http://www.ulitka.ru/
Resolving hostname www.ulitka.ru.
Connecting to 195.133.184.4.
Connected.
Chunk Started
**************** HTTP Header ****************
ContentType : text/html
Charset : windows-1251
Last Modified :
Size : 0
*********************************************
Document Title is: "Óëèòêà - êàòàëîã ðåñóðñîâ èíòåðíåò..."
Disconnecting from 195.133.184.4.
Not connected.
Received 19853 bytes
End of HTTP transaction
Result: 200 OK (200)
Disconnected from http://www.ulitka.ru/
Analyzing content...
=== Stage 2 done. ExactCode: 694196476, SmartCode: 1967083425
=== Can Trust: HeaderInfo:No, ExactCode:Yes, SmartCode:Yes
=== No Frames Found ===
=== END OF EXPLORING http://www.ulitka.ru/ ===
=== Trustable info is: HeaderInfo:No, ExactCode:Yes, SmartCode:Yes
=== STOP OPERATION <12.11.2002 13:15:01> ===
То есть, как я понимаю - robots.txt есть?
Да нет его там. По запросу должен быть выдан текст. Если он недоступен через Эксплорер, то он практически всегда будет недоступен роботу.