EXTREMER Traffic auf Webspace.... was tun?

[loopy83]

Hallo zusammen,

Ich besitze eine Domain und den dazugehörigen Webspace, der bei all-inclusive-webspace gehostet wird.
Dort liegen überwiegend alte Fotoalben (html Seiten), die ich dem Freundeskreis zur Verfügung stelle.

Üblicherweise gehe ich so vor:
- ich lade ein Video oder eine Bildersammlung auf den Webspace (.zip Archive), um sie den beteiligten Freunden zur Verfügung zu stellen
- die Archive sind 700MB - 1GB groß
- innerhalb von ein paar Tagen laden sich meine Freunde (5-10 Leute) die Datei runter
- danach lösche ich die Datei wieder

Jetzt hatte ich schon zwei Mal folgendes Problem:
- Im September habe ich ein 1GB großes Hochzeitsvideo hochgeladen, um es den Hochzeitsgästen zur Verfügung zu stellen
- innerhalb von 3 Tagen war meine Domain gesperrt, weil 12TB (!) Traffic verursacht wurden

- vergangenen Sonntag habe ich eine 700MB große .zip Datei hochgeladen, die Bilder vom Wochenende enthalten hat
- gestern wurde meine Domain wieder gesperrt, weil 300GB (!) Traffic verursacht wurden

Im ersten Fall bestand der Nutzerkreis vielleicht aus 15 Personen.
Im zweiten Fall waren es 3-4 Personen, die es laden sollten.
In jedem Fall nicht genug, um 12TB (!) Daten zu erreichen!

Nach dem zweiten Fall droht mir der Hoster nun mit der Kündigung, die ich noch abwenden konnte.
Aber beim nächsten Mal ist es dann soweit...

Ich habe den Link zu den Archiven immer direkt im Format http://domain.de/ordner/datei.zip per Whatsapp verschickt.
Ich habe es also in keinem öffentlichen Forum oder sonst wo gepostet!

Das ganze sieht dann so aus:



Auffallend ist auch, dass ich immer so ein Grundrauschen von 100-1000MB habe. Dabei liegen auf dem Server und der Website vielleicht 1000-2000 stark komprimierte Bilder in einem html-Fotoalbum, die keinen interessieren dürften und mein Freundeskreis vielleicht 1-2 mal im Jahr in alten Erinnerungen schwelgen will
Wird das Grundrauschen durch irgendwelche Scan-Bots verursacht?

Auch auffallend ist, dass der extrem hohe Traffic vom Web aus verursacht wurde. Direkten Zugang zum FTP scheint also keiner zu haben, um diesen zu mißbrauchen.
Das Passwort habe ich natürlich jedes Mal sofort geändert!

Wer hat eine Vermutung, woher der extreme Traffic kommen kann, kurz nachdem ich größere Dateien hochgeladen habe?
Scannen da 1000 Firmen 24/7 das komplette Netz und laden alles 1000fach runter, was man findet?
Wer macht da ein Backup vom Internet?

all-inclusive-webspace meinte übrigens, dass es meine Schuld ist, wenn ich einen Link irgendwo poste und der dann immer wieder und wieder gepostet wird.
Wahrscheinlich gehen sie davon aus, dass ich irgendwelche Filme zum Download anbiete und es dann in irgendwelchen einschlägigen Foren poste... was ja auch nachvollziehbar ist, aber nun mal nicht zutrifft. Mehr konnten sie mir nicht sagen oder helfen, außer die Kündigung noch einmal auszusetzen.

Hat wer eine Idee?
Wie kann ich mich dagegen schützen, ohne auf Dropbox etc. auszuweichen?

Vielen Dank!
Andi

 

[fdsonne]

Kommt denn eine Password Abfrage, wenn du ein File runter laden willst?
Oder ist das alles ohne Authentifizierung?

Verwendest du auf dem Space irgend ein CMS System oder ähnliches ala Typo3, Wordpress oder sonstwelche Pakete?

Hast du Zugriff auf die Logfiles des Webservers? Wenn ja, könnte man dort ggf. im Accesslog die Daten erheben. Sprich Source IPs sehen, die die Anfragen stellen.

Was halt auch passieren kann, gerade wenn du den Link irgendwo veröffentlichst (WhatsApp ist schon eher öffentlich), dass irgendwo wer extern diese Daten in Zugriff hat, sprich sich das irgendwie verbreitet. Je nach bekanntheitsgrad deiner Domain im Netz kommt da schon einiges an Grundrauschen zusammen...

 

[loopy83]

Hallo,

Kommt denn eine Password Abfrage, wenn du ein File runter laden willst?
Oder ist das alles ohne Authentifizierung?

Nein, ohne Authentifizierung - Link klicken = Download
Wüsste jetzt gar nicht, wie ich das in einem html Link einbinde.
Kenne nur die Möglichkeit via FTP, aber das will ich eigentlich immer vermeiden.

Verwendest du auf dem Space irgend ein CMS System oder ähnliches ala Typo3, Wordpress oder sonstwelche Pakete?

Ich hatte vor 3-4 Jahren mal ein phpbb Forum laufen, aber alle Datenbanken, dazugehörige Dateien etc. habe ich schon gelöscht.
Es sind also nur Bilder, das dazugehörige html-Fotoalbum und ein paar einzelne Dateien vorhanden.
Keine Scripte, CMS. oder sonst was...

Hast du Zugriff auf die Logfiles des Webservers? Wenn ja, könnte man dort ggf. im Accesslog die Daten erheben. Sprich Source IPs sehen, die die Anfragen stellen.

Auf die Log-Files nicht. Mir wird nur eine fertige aufbereitete Zugriffsstatistik angeboten und dort taucht der ausschlaggebende Traffic nicht mal auf
Dort sehe ich nur das Grundrauschen und den nachvollziehbaren Traffic via FTP etc.

Was halt auch passieren kann, gerade wenn du den Link irgendwo veröffentlichst (WhatsApp ist schon eher öffentlich), dass irgendwo wer extern diese Daten in Zugriff hat, sprich sich das irgendwie verbreitet. Je nach bekanntheitsgrad deiner Domain im Netz kommt da schon einiges an Grundrauschen zusammen...

Du kannst davon ausgehen, dass mein Domain keine Sau kennt
Aber kann gut sein, dass der Link via Whatsapp ohne Zutun von Versender und Empfänger irgendwo landet. Die Idee hatte ich auch schon. Nur leider habe ich nicht noch einen Versuch um zu testen, ob ein Link via Mail das gleiche Chaos auslöst

 

[randyh]

Hi

also was ich machen würde...

erst mal .htaccess aktivieren. also einfach eine Standard Datei erzeugen mit einem einfachen passwort.
"hochzeit" oder halt dem Thema passend.

Das Kennwort muss ja nur 1x vor dem Download eingegeben werden.

Zusätzlich würde ich mir überlegen - evtl. nicht die Links zu verschicken.
Sondern eine einfache HTML Datei abspeichern in welcher die Daten verlinkt sind. Dann könntest du dort Google Analytics Code ablegen und
genau sagen wer woher drauf zugreift. Falls dich das interessiert



gruß

 

[loopy83]

Hallo,

erst mal .htaccess aktivieren. also einfach eine Standard Datei erzeugen mit einem einfachen passwort.
"hochzeit" oder halt dem Thema passend.

Zusätzlich würde ich mir überlegen - evtl. nicht die Links zu verschicken.
Sondern eine einfache HTML Datei abspeichern in welcher die Daten verlinkt sind. Dann könntest du dort Google Analytics Code ablegen und
genau sagen wer woher drauf zugreift. Falls dich das interessiert

Das sind zwei SEHR GUTE Hinweise!
Das mit dem htaccess werde ich gleich mal austesten!
Auch die Idee mit dem html-File ist gut. Was aber den Google Analytics Code angeht, muss ich mich mal belesen.

Vielleicht reichen ja schon die ersten beiden Ansätze aus, um Ruhe zu haben.

Ich kann es ja dann mal austesten und mir parallel einen neuen Hoster suchen, falls es schief geht

Vielen Dank!!!!

Die Ursache und den Grund für den hohen Traffic habe ich aber immer noch nicht gefunden...

 

[SOCKEN]

wenn du wechseln möchtest.... geh am besten zu all-inkl.com
Hatte das auch mal vor einigen Jahren das der Trafiic extrem hochging. Die haben überhaupt nicht gemeckert ;-)

 

[konfetti]

nutzt Du auch Mail mit Deiner Domain? - daher kann das Grundrauschen kommen.
ggf. kommt daher auch das Problem mit dem hohen Traffic? - ich würde schon versuchen, die Ursache herauszufinden - Die müssten doch auch nen Log schicken können, oder nicht?

 

[loopy83]

Ich habe keine Mail-Adresse eingerichtet... ich nutze den Webspace wirklich nur als Fotoalbum vergangener Tage und zum gelegentlichen Datenaustausch

Ich werde versuchen die access-log zu bekommen...

 

[Morpheus2200]

Würde dir auch empfehlen eine Authentifizierung zu nutzen.
Ist bei apache Webservern sehr einfach zu realisieren.

Für mehrere lokale Nutzer Nutzer passowrtdatei erstellen mit:

htpasswd /etc/apache2/[filename] [username] danach passwort eingeben (einmal für jeden Benutzer ausführen)

und in der apache konfigurtaion:

AuthType Basic
AuthUserFile /etc/apache2/[filename]
Require valid-user

angeben sollte ausreichen.

 

[loopy83]

Ich habe keinen direkten Zugriff auf den Webserver, ist ja leider nicht mein eigener

Ich habe die Authentifizierung jetzt in einem Testordner getestet:

.htaccess

AuthType Basic
AuthName "Passwortschutz"
AuthUserFile /www/test/.htpasswd
Require test

.htpasswd

test:$apr1$JsMUc6hI$pGy6Adx223fBiSRrnRcG0/

Leider kommt da immer ein Fehler:

Internal Server Error
The server encountered an internal error or misconfiguration and was
unable to complete your request.

Ich habe jetzt auch die access-log gefunden und mir den fraglichen Zeitraum angeschaut.
Ich sehe da keine Auffällig großen Zugriffe auf die fragliche Datei!

In der gesamten access-log vom 26.10. (da habe ich die Datei hochgeladen) bis heute wird die Datei nur 38mal aufgerufen und mit Sicherheit nicht immer komplett geladen, weil zwei Zugriffe mit dem gleichen Gerät kurz hintereinander kommen. Selbst 40 mal 700MB sind keine 300GB!

Kann ich die access-log irgendwie auswerten lassen?
awstats gibt es ja, aber kann ich das auch irgendwie live online machen, ohne irgendwelche Installationen?
Wobei mir die access-log ja auch keinen Traffic anzeigt...

Alles nicht so einfach!

Vielen Dank!

 

[Fischje]

also die meisten webhoster bieten in ihren interfaces an, die .htaccess über das interface bequem zu erstellen. wenn du dich damit schwer tust nimm das einfach. geht viel schneller.

ich persönlich würde den hoster auch fragen, wo die aufrufe herkamen. fotos sind extrem begehrt im netz. sind die files einfach zugänglich könnten sich alle möglichen ursachen dafür herleiten lassen. vielleicht baut sich einer deiner kumpels den ordner als netzlaufwerk in windows ein, etc. wer weiss das schon, ob die wirklich alle die daten erst runterladen bevor sie die fotos gucken oder ob sie die sachen direkt schauen. das könnte dan aber auch jeder searchbot aus dem netz

in jedem fall, mal abgesehen vom .htaccess, kannst du auch ein paar ftp-nutzer anlegen und die daten garnicht ins web stellen. nimmste zugriff halt raus (chmod) und gibst den kumpels ftp-accounts.

 

[loopy83]

Das html-Fotoalbum liegt seit ca. 10 Jahren dort und es gab nie Probleme. Keiner meiner Freunde nutzt die Fotos außerhalb des Browsers unf öfter als 1-2 mal im Jahr.
99% der Zugriffe sind Bots und Crawler... die versuche ich nun über eine robots.txt zumindest etwas lahm zu legen.

Die Probleme sind erst aufgetaucht, als ich eine 1GB Datei und jetzt eine 700MB Datei hochgeladen habe.

Da die access-log keine ungewöhnlich hohen Zugriffe auf diese Dateien geloggt hat, nehme ich mal an, wurden sie auch nicht 12000fach heruntergeladen.
Keine Ahnung ob man sich an der access-log vorbeimogeln kann?

Fakt ist:
- die awstats Zugriffsstatistik erkennt den hohen Traffic nicht
- die access-log zeigt keine ungewöhnlichen Zugriffe auf die großen Dateien, die offensichtlich Auslöser des Problems sind

Vielleicht hat der Hoster eine doofe Backuproutine laufen, die mit Dateien >500MB nicht klar kommt und dadurch der Traffic künstlich ins unendliche steigt, bis der Account gesperrt wird.
Keine Ahnung ob es sowas gibt...

Ich für meinen Teil bin mir keiner Schuld bewusst und will nur versuchen, den Fehler dafür zu finden.
Entweder, damit ich ihn abstellen kann - hochladen von Dateien sollte aber eigentlich kein Fehler sein - oder der Hoster ein Problem findet und löst.

Ich will nur den Stress vermeiden, dass ich wieder komplett umziehen muss und mir einen neuen Hoster suchen....

EDIT:
Ich habe mit die awstats nochmal genau angeschaut, wo der hohe Traffic ja nicht auftaucht.
Im Webinterface hingegen taucht er auf!
Das komische ist, dass zwischen swstats und Webinterface ziemlich genau Faktor 23 liegt

Ich habe gerade die access-log ausgewertet und habe auch ein paar ältere log-Dateien geladen. Nach einiger Zeit tauchten im Webinterface 170MB FTP-Traffic auf, wobei die Dateien nur ein paar 100kB haben. Da bin ich stutzig geworden!

Die Alarmroutine bei denen scheint auf den um Faktor 23 zu hohen Traffic zu triggern...

Das sind zwar immer noch über 500 Downloads meines 1GB Hochzeitvideos (angeblich 12TB Traffic),
aber es sind noch ca. 10 Downloads von der 700MB Dabei am WE. Das kann schon wieder hinkommen...

Seltsamer Verein!!!!

 

[Fischje]

OT: mag ja alles stimmen, aber mal im ernst: du legst doch nicht wirklich personenrelevante daten (fotos,videos) ohne authentifizierung auf einen webspace einer ltd. ?

Hast du mal geschaut, was passiert mit den Stats, wenn die daten nicht auf dem space liegen. ?

 

[TheBigG]

Scannen da 1000 Firmen 24/7 das komplette Netz und laden alles 1000fach runter, was man findet?
Wer macht da ein Backup vom Internet?

Doch sowas gibt es, ich habe allerdings bisher nicht rausgefunden was die davon haben. Ich konnte das bei meinem Debian mirror recht gut sehen, da wurde das Image immer wieder abgefragt aus dem gleichen /24. Im März waren das 176TB nur für dieses /24, ich hab das dann einfach mal via IPtables gedropt und der Traffic ging auf 1,2 TB zurück.

 

[bst92]

Rechnen die vielleicht Traffic = Zugriffe * Dateigröße? Unabhängig davon, was wirklich transferiert wurde?

 

[loopy83]

Die Fotos liegen in dem html-Fotoalbum schon teilweise 10 Jahre oder mehr.
Sind Partyfotos aus alten Tagen, gemeinsame Unternehmungen/Urlaube unseres Freundeskreises etc.
Die Daten sind online verfügbar und abrufbar... ist also eher Nostalgie als personenrelevante Daten

Alles andere sind eher kurzzeitig abgelegte Daten, da ich den Webspace eben statt Dropbox zum Austausch größerer Archive verwende.

Bisher war ich da wohl etwas blauäugig und habe ohne Authentifizierung... Unwissenheit ist selten gut

Hast du mal geschaut, was passiert mit den Stats, wenn die daten nicht auf dem space liegen. ?

Die meisten Bots/Crawler versuchen eh auf Ordern/Dateien zuzugreifen, sie schon lange nicht mehr existieren.
Keine Ahnung wieso noch monatelang danach ein Bot auf die Idee kommt danach zu suchen.
Ich denke an den Stats würde sich nicht viel ändern....

 

[bst92]

Die meisten Bots/Crawler versuchen eh auf Ordern/Dateien zuzugreifen, sie schon lange nicht mehr existieren.
Keine Ahnung wieso noch monatelang danach ein Bot auf die Idee kommt danach zu suchen.

Ich würde mal vermuten, weil sie irgendwo im Netz auf (alte) Links stoßen, die auf deinen Webspace bzw. die inzwischen gelöschten/verschobenen Inhalte verweisen.

 

[SystemX]

Also ich bin bei Joserv.de und habe das Confixx Web B Paket, 20GB Speicher, FTP Zugriff, Traffic Inklusive, FTP Zugänge Unbegrenzt, MySQL Datenbanken Unbegrenzt, Cronjob Unbegrenzt für nur 1,79€ im monat. Ich bin dort seit ca. 4 Jahren und es gab nie ein Problem. Es stehen Confixx & LiveConfig zur verfügung .

 

[Vagabund]

[...]
Die meisten Bots/Crawler versuchen eh auf Ordern/Dateien zuzugreifen, sie schon lange nicht mehr existieren.
Keine Ahnung wieso noch monatelang danach ein Bot auf die Idee kommt danach zu suchen.
Ich denke an den Stats würde sich nicht viel ändern....

Weil viele dieser Bots noch aus Zeiten stammen, in denen das relevant oder cool war. Ich selber habe das Problem bei Kundenseiten. Nach Umstellung auf ein CMS haben wir sehr schnell gesehen, dass nach Jahre immer noch die Dateinamen der ersten Seite abgerufen wurden - immer von irgendwelchem Bots. Das erzeugte teilweise richtig viele 404er im Logfile. Einfach die IP per Apache blocken und dann sollte das fix weg sein. Alternative kann auch bei einigen Bots die Seite vom Index ausschließen, klappt, aber leider nicht immer.

Es gibt auch Bots, die nicht gut sind... einige Bots crawlen nach Ordnern usw. um eben solche Daten zu finden und abzugrasen. Die kommen meist mit einer normalen Browser-Kennung und ignorieren die robots.txt, ja teilweise nutzen Sie diese sogar, damit sie wissen, welcher Ordner nicht gecrawlt werden sollen. Ist schon eine dubiose Sache, aber leider im Netz normal.

Sichere Deine Ordner mit einer Authentifizierung. Das einfachste ist via .htaccess oder ein einfach HTTP-Auth-Script mit PHP.