Как запретить Google скачивать файлы с сервера?

12
K2
На сайте с 03.06.2014
Offline
21
K12
2347

Привет всем!

На серверы есть много файлов разных программ. Скачивать их можно было по обычным ссылкам

<a href="/prog10.php">программа10</a>
Открытие всех страниц fileХ.php начинает загрузку файла. На эти страницы зафиксированы переходы с разных ПС Yahoo, Google, Яндекс, Мэйл.Ру и др.

Чтобы уменьшить трафик попробовал скрыть ссылки от ПС так

<form action="/file.php" method="post"> 

Проверил три варианта:

<form action="/file1.php" method="post">

<input type="submit" value="file1">
</form>

<form action="/file2.php" method="post">

<button type="submit">file2</button>
</form>

<form action="/file3.php" method="post">

<input type="image" src="down.jpg">
</form>

В результате перестали скачивать файлы все ПС, кроме Google. Google нажимает на все кнопки и скачивает фалы! Правда раньше Google загружал по несколько файлов в час, а теперь загружает по несколько файлов в сутки.

Вопрос такой: как можно скрыть ссылки на файлы от Google? Если можно, желательно без использования javascript.

Руслан С
На сайте с 12.12.2015
Offline
9
#1

Закрыть доступ в robots.txt. - Слишком просто чтобы быть правдой?

K2
На сайте с 03.06.2014
Offline
21
K12
#2

Закрыть доступ через robots.txt конечно просто, только это ничего не дает.

Проверялись разные варианты.

User-agent: *

Disallow: /files.php

files.php - страница, на которой есть ссылки на файлы. Не помогает.

Добавил на странице <meta name="robots" content="noindex, nofollow">. Не помогает.

User-agent: *

Disallow: / Не помогает.

Как еще можно заблокировать доступ?

Руслан С
На сайте с 12.12.2015
Offline
9
#3

Возможно, таймер "Загрузка начнется автоматически через ..." поможет. Робот, скорее всего не будет ждать 10 секунд.

C
На сайте с 16.05.2015
Offline
19
#4
K12:
Закрыть доступ через robots.txt конечно просто, только это ничего не дает.
Проверялись разные варианты.
<...>
Как еще можно заблокировать доступ?

Может попробовать уже в robots.txt закрыть доступ к директории где эти самые "много файлов разных программ" лежат?

TF-Studio
На сайте с 17.08.2010
Offline
334
#5

гугл найдет все ссылки, будь то формы, скрипты. и хоть раз - но зайдет.

самый простой вариант через js организовать скачивание.

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
K2
На сайте с 03.06.2014
Offline
21
K12
#6
Calendum:
Может попробовать уже в robots.txt закрыть доступ к директории где эти самые "много файлов разных программ" лежат?

Сейчас в robots.txt написано "запретить всем и все":

User-agent: *

Disallow: /

Не помогает, гугл файлы как загружал, так и загружает.

TF-Studio:
самый простой вариант через js организовать скачивание.

Попадалась информация о том, что Гугл индексирует страницу уже после выполнения js, и уже научился видеть ссылки, закрытые с помощь JavaScript. К тому же при организации скачивания через js придется добавлять и обычную ссылку "Если загрузка не началась автоматически, нажмите сюда".

---------- Добавлено 17.03.2016 в 14:49 ----------

Появилась мысль заблокировать загрузку файлов гуглем по IP.

Можно посетителю разрешить загружать программы, а Googlebot-у разрешить только индексировать страницу с описанием программы? Что если при попытке Googlebot-а загрузить файл ответить ему, например, 403 Forbidden или 434 Requested host unavailable?

Или за такое могут быть санкции для сайта?

Smart Shot
На сайте с 03.09.2015
Offline
66
#7
K12:
Сейчас в robots.txt написано "запретить всем и все":
User-agent: *
Disallow: /
Не помогает, гугл файлы как загружал, так и загружает.

Ерунда какая та, покажите сайт.

Вы точно уверены, что это гугл, а не пользователи?

SEO группа в ВК, где ответят на любой ваш вопрос! (https://vk.com/hello_seo_world) Книга по интернет-маркетингу (http://smartshot.ru/seo-dlya-seoshnikov/) Блог по SEO (http://smartshot.ru/blog/)
9D
На сайте с 07.02.2013
Offline
68
#8

Как вы вообще поняли, что он их загружает до конца? Конечно он перейдет, но у меня большие сомнения, что он докачивает, то есть трафика не кушает. Закрывайте ссылку nofollow и в robots блокируйте, остальное извращение, которое еще и повредить сайту может.

K2
На сайте с 03.06.2014
Offline
21
K12
#9
Smart Shot:
Ерунда какая та, покажите сайт.
Вы точно уверены, что это гугл, а не пользователи?

Я думаю, что это были обращения гугла:

64.233.172.149 - - [14/Mar/2016:06:20:43 +0200] "GET /55.exe HTTP/1.1" 200 1544554 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"

66.249.88.157 - - [14/Mar/2016:08:44:57 +0200] "GET /ct1.rar HTTP/1.1" 200 351452 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36"

66.249.64.30 - - [14/Mar/2016:08:45:43 +0200] "GET /robots.txt HTTP/1.1" 200 77 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

66.249.92.155 - - [14/Mar/2016:08:45:48 +0200] "GET /126.zip HTTP/1.1" 200 4568178 "-" "Mediapartners-Google"

66.249.88.157 - - [14/Mar/2016:08:46:00 +0200] "GET /Solo9Rus.rar HTTP/1.1" 200 25880148 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"

66.249.88.147 - - [14/Mar/2016:08:50:13 +0200] "GET /dw98.rar HTTP/1.1" 200 73528599 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"

64.233.172.141 - - [14/Mar/2016:09:32:12 +0200] "GET /5.rar HTTP/1.1" 200 2286521 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"

64.233.172.149 - - [14/Mar/2016:10:54:38 +0200] "GET /Rt9.rar HTTP/1.1" 200 109156618 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36"

66.249.66.90 - - [14/Mar/2016:11:09:06 +0200] "GET /24.exe HTTP/1.1" 200 5614563 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

64.233.172.149 - - [14/Mar/2016:11:16:23 +0200] "GET /da9ec.exe HTTP/1.1" 200 5168562 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"

66.249.88.157 - - [14/Mar/2016:11:44:21 +0200] "GET /dw98.rar HTTP/1.1" 200 73528599 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"

66.249.88.147 - - [14/Mar/2016:11:55:10 +0200] "GET /Solo9Rus.rar HTTP/1.1" 200 25880148 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"

64.233.172.133 - - [14/Mar/2016:12:15:02 +0200] "GET /yu478.rar HTTP/1.1" 200 8258926 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36"

66.102.9.95 - - [14/Mar/2016:12:25:59 +0200] "GET /tu5.rar HTTP/1.1" 200 87463296 "-" "Mozilla/5.0 (Linux; Android 5.1.1; SM-E500F Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36"

66.102.9.105 - - [14/Mar/2016:12:26:46 +0200] "GET /tt45.rar HTTP/1.1" 200 4964569 "-" "Mozilla/5.0 (Linux; Android 5.1.1; SM-E500F Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.91 Mobile Safari/537.36"

64.233.172.141 - - [14/Mar/2016:12:28:22 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"

64.233.172.133 - - [14/Mar/2016:12:28:25 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"

64.233.172.149 - - [14/Mar/2016:12:28:29 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"

64.233.172.149 - - [14/Mar/2016:12:28:30 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"

64.233.172.133 - - [14/Mar/2016:12:28:31 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"

64.233.172.133 - - [14/Mar/2016:12:28:32 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"

64.233.172.133 - - [14/Mar/2016:12:39:44 +0200] "GET /arm7.exe HTTP/1.1" 302 154 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; EIE10;ENUSWOL)"

9_Dima_9:
Как вы вообще поняли, что он их загружает до конца? Конечно он перейдет, но у меня большие сомнения, что он докачивает, то есть трафика не кушает. Закрывайте ссылку nofollow и в robots блокируйте, остальное извращение, которое еще и повредить сайту может.

Если бы помогало закрытие ссылки через nofollow и блокировка в robots - не было бы никакого смысла заниматься извращением! :(

discoid
На сайте с 15.02.2007
Offline
124
#10
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий