Wieviel Speicher hat Dropbox, Google Drive und Co.?:D

[lol^^]

Hi Leute,

evtl. arbeitet hier jemand bei relativ großen Firmen im IT Bereich und kann mal ein bisschen aus dem Nähkästchen plaudern

Ich frage mich gerade wieviel Speicher (in welcher Maßeinheit auch immer) bspw. die Dropbox- oder Google Drive- Server haben?

Wenn wir mal von 500 Mio. Nutzern weltweit bei Dropbox im Jahr 2016 (Laut statista.com) mit jeweils Standartaccounts von 200Mb, komme ich schon auf knapp 100.000 TB nötiger Serverspeicher ohne Datensicherung etc.

Ein total sinnloses Thema, ich weiß, aber es interessiert mich gerade

 

[p4n0]

Das laesst sich schwierig sagen..

Ich gehe davon aus, dass bei solchen Diensten viel mit thin provisioning gearbeitet wird.
D.h. es wird nur der Speicher physikalisch belegt, der tatsaechlich mit Daten gefuellt ist.

Zudem werden mehrfach liegende Dateien warscheinlich per Links und inkrementellen Änderungen Snapshotmaeßig auf die einzelnen Accounts gelinked.
d.h. Haben unsere Accounts das gleiche File liegen (Gleiche CRC Summe etc...) so wird nur 1x physikalischer Speicher verwendet und wir arbeiten nur auf nem Link.

Solche Mechanismen kann ich mir durchaus vorstellen, und das spart immens an Platz

Wieviel da tatsaechlich dahinter haengt wird man nur sehr grob schaetzen koennen.
Gibt auch genug 'Private' Bereiche solcher Anbieter, welche man nicht erfassen kann als außenstehender.

 

[biaaas]

Zudem werden mehrfach liegende Dateien warscheinlich per Links und inkrementellen Änderungen Snapshotmaeßig auf die einzelnen Accounts gelinked.
d.h. Haben unsere Accounts das gleiche File liegen (Gleiche CRC Summe etc...) so wird nur 1x physikalischer Speicher verwendet und wir arbeiten nur auf nem Link.

Ich denke das "wahrscheinlich" kann man weglassen. Ein weiterer Punkt der die Abschätzung erschwert ist die Frage nach Redundanz für Erreichbarkeit und Backups.

 

[Seratio]

Hi,


wie viel Speicher die tatsächlich haben, werden dir nur die Betreiber sagen können.

Datendeduplizierung wird hier ehr Regel, als die Ausnahme sein.

Zu dem sind solch Systeme ehr eine Mischkalkulation. Von den 500 Mio Usern, nutzen wenn überhaupt 50% das ganze Aktiv. Von diesen 50% werden wiederum vll 25% überhaupt die 200MB knacken.

Man kommt hier zwar schnell in den Petabyte Bereich, aber selbst für die "Free" Kunden sind das heutzutage keine 5 Racks mehr, welche da mit Storage vorgehalten werden müssen. Auf ein Rack mit bspw. 48HE bekommt man Problemlos mehr als 6PB Kapazität.

Bei Diensten wie Google, könnte ich mir z.B. vorstellen, dass der freie Speicher von den Searchnodes mit verwendet wird, da hier genug Speicher frei sein wird.


Gruß

 

[passat3233]

Grob abgeschätzt, was in ein Rack mit 48 HE rein geht:
Nehmen wir z.B. das Dell Storage PowerVault MD3060e.
Das hat 4 HE. Platz ist für satte 60 Platten, die größte Platte, die man konfigurieren kann, hat 10 TB.
10x60 = 600 TB pro Storage.
In 48 HE passen 12 dieser Storages rein.
12x600 = 7,2 PB.
Nehmen wir einmal die angesprochenen 200 MB pro User, dann kann man mit einem einzigen Rack schon 36 Mio. User versorgen!
Und selbst wenn die User 2 GB belegen würden, wären das immer noch 3,6 Mio. User pro Rack.
Mit ca. 2000 dieser Racks könnte man jedem einzelnen der ca. 7,4 Mrd. Menschen auf der Erde 2 GB Speicherplatz zur Verfügung stellen.
Wenn man von 500 Mio. Usern mit 2 GB Speicherplatz ausgeht, dann bräuchte man von diesen Racks ca. 140 Stück.

Und wenn man dann noch mit Datendeduplizierung arbeitet, dann sind auch bei 2 GB pro User um die 10-15 Mio. User pro Rack kein Problem.
Da würden dann für 500 Mio. User ca. 50 dieser Racks reichen.
So groß ist die nötige Infrastruktur also gar nicht.

Allerdings ist so etwas absolut gesehen nicht billig, pro User aber spottbillig.
Das genannte Dell kostet im Vollausbau mit 60 Platten á 10 TB ca. 115.000,- €.
12 Stück davon also 1,38 Mio. Euro.
Umgerechnet auf 3,6 Mio 2GB-User also 38 Cent pro User.



Man kann auch 9 Stück Dell MD1280 nehmen.
Die haben 5 HE und es passen 84 Platten rein.
Macht pro Rack 7,56 PB.
Und man hat noch 3 HE Luft.
Da bekommt man noch ca. 20 Platten unter. Dann kommen wir in die Region von ca. 7,8 PB pro Rack.

 

[fax668]

Dropbox hat früher den Speicher nach Bedarf bei Amazon eingekauft. Allerdings habe ich vorhin kurz recherchiert und Dropbox hat dieses Jahr auf eigene Hardware umgestellt. Kommt halt dann doch billiger, wenn man groß genug ist.

Dropbox hat früher schon oft raustrompetet, dass Dateien über die ganze Datenbasis nur einmal vorgehalten werden und mit einem AES-256 Schlüssel indiziert werden.

 

[Seratio]

Dropbox hat früher schon oft raustrompetet, dass Dateien über die ganze Datenbasis nur einmal vorgehalten werden und mit einem AES-256 Schlüssel indiziert werden.

Jetzt ist nur noch die Frage, ob die alle Daten mit dem selben Key verschlüsseln, oder jeder User seinen eigenen Key hat... Wenn jeder seinen eigenen Key hat, dann ist es nicht mehr möglich nur eine Datei für viele User vorzuhalten... Da ja nach der Verschlüsselung die Checksummen anders sind.

 

[fax668]

ob die alle Daten mit dem selben Key verschlüsseln

This. Dropbox hat noch nie den Willen oder das Ziel geäußert, Dateien sicher zu verschlüsseln. Die scannen auch Dateien auf Copyrightverletzungen und ähnliche Scherze. Wer das nicht will, muss die Dateien selbst verschlüsseln, bevor sie in die Dropbox gehen.

 

[p4n0]

This. Dropbox hat noch nie den Willen oder das Ziel geäußert, Dateien sicher zu verschlüsseln. Die scannen auch Dateien auf Copyrightverletzungen und ähnliche Scherze. Wer das nicht will, muss die Dateien selbst verschlüsseln, bevor sie in die Dropbox gehen.

Oder einfach den ganzen Public Storage anbietern den Ruecken kehren.

ne Owncloud-Kiste zu Hause aufzusetzen ist kein Hexenwerk mehr... N paar HDDs kosten auch nemme die Welt

 

[mastergamer]

200mb pro person... ich hab 50gb und zahl dafür nichts

 

[p4n0]

200mb pro person... ich hab 50gb und zahl dafür nichts

Ist die Leistung kostenlos, dann bist du in der Regel das Produkt.

 

[DragonTear]

Als Student hab ich bei Dropbox auch 20Gb. Ist schon nicht schlecht.
Grade Dropbox bietet bekanntlich 30 tage (und für Bezahlkudnen noch längere) Versionsverwaltung. D.h. real wird man noch viel mehr Speicher brauchen, als im Moment belegt wird.

This. Dropbox hat noch nie den Willen oder das Ziel geäußert, Dateien sicher zu verschlüsseln. Die scannen auch Dateien auf Copyrightverletzungen und ähnliche Scherze. Wer das nicht will, muss die Dateien selbst verschlüsseln, bevor sie in die Dropbox gehen.

Denke das gilt eher nur für den public ordner, oder?
Dazu sind sie logischerweise praktisch verpflichtet um Abmahnungen zu vermeiden, schließlich kommt das Filesharing gleich.

 

[TheBigG]

Dazu sind sie logischerweise praktisch verpflichtet um Abmahnungen zu vermeiden, schließlich kommt das Filesharing gleich.

Sie sind nicht dazu verpflichtet irgendwas zu scannen, sie sind nur verpflichtet den öffentlichen Zugang zu einer Datei die irgendwelche rechte verletzt nachdem sie darüber Informiert wurden zu sperren.

 

[fax668]

Gilt nur für öffentliche Verzeichnisse und Verzeichnisse, die mit anderen Benutzern geteilt werden.

 

[Bambuleee]

ICh will mal sehen wie eure beschriebenen Systeme die iops liefern, wenn 500.000 User gleichzeitig darauf zugreifen.

 

[p4n0]

Vieles, was oft verwendet wird laeuft mittlerweile auf V-SANs... Da wird RAM Speicher von den ganzen Nodes als Storage zusammengefasst...
Es gibt auch genug Hitachi oder EMC Moehren, welche genug Ram / Flash Speicher besitzen um immense IOPS bereitstellen zu koennen.

 

[passat3233]

ICh will mal sehen wie eure beschriebenen Systeme die iops liefern, wenn 500.000 User gleichzeitig darauf zugreifen.

Nimm mein Beispiel:
Ein Storage hat 60 Platten, ein Rack 12 Storages.
Pro Rack also 720 Platten.
Für den angegebenen Speicherplatz sind ca. 50 Racks nötig.
Also insgesamt 36.000 Festplatten.
Das macht 14 Benutzer pro Platte.
Für Serverplatten ist so etwas Kinderkram.
Die sind auf viele gleichzeitige verteilte Zugriffe optimiert.
Da limitiert nicht das Speichersystem die iops, sondern jeder einzelne User wird durch die lahme Internetverbindung (und selbst DSL 100 ist im Grunde lahm) limitiert.
In der Praxis muß das System sehr deutlich weniger iops liefern als es tatsächlich zu liefern im Stande ist.

Und hinzu kommt, das die Zugriffe ja auch noch im RAM gecached werden.
Aktuelle Server gibts bis 6 TB RAM und 4 Prozessoren á 24 Prozessorkerne = 96 Prozessorkerne.

 

[fdsonne]

Umgerechnet auf 3,6 Mio 2GB-User also 38 Cent pro User.

Das dürfte dann aber nicht wirtschaftlich sein...
Schaut man sich mal bspw. die Preise an -> Amazon nimmt bspw. zwischen 0,0324$ und 0,029$ pro GB in Frankfurt. Würde das GB real um die 38 Cent kosten, dürfte maximal ~10% belegt werden um auf Plus/Minus Null zu kommen. UND, was halt in der obigen Rechnung gar nicht enthalten ist, sind Strom + Klima, also Betriebskosten, Redundanzen, Backups, LAN Infrastruktur, Anbindung usw. usf.
Real dürften, je nach Konfig und Aufbau aus 60x10TB Drives ca. 320-360TB Daten raus kommen. Der Rest, Parity, Hotspare Disks, Snapshot Reserve usw. Lass es mit größeren Raid-Groups, weniger Spare Disks, vllt. Tripple anstatt Double Paritiy und weniger Snapshotreserve auf ca. 400GB kommen...


Ehrlich gesagt glaube ich auch nicht, dass diese Größen im Business ihre Datacenter mit jeder neuen HDD Generation mit mehr Platz komplett umstellen. Sondern das Zeug wird trotzdem seine Laufzeit haben. Da sind also wohl sicher nicht ausschließlich 10TB Disks enthalten.

Es ist allerdings reichlich schwierig hier zu spekulieren, die Größen geben wenn ich das richtig sehe, sogut wie gar keine Daten raus...

 

[passat3233]

Die errechneten 38 Cent pro User sind die reinen Anschaffungskosten pro 2 GB!
Also 19 Cent pro GB.
Die werden natürlich auf die Betriebsdauer umgerechnet.
Nehmen wir nur einmal 1 Jahr Betriebsdauer, dann sind das 1,58 Cent pro Monat und GB.
Die von mir genannten Preise sind die, die man auf der Homepage einsehen kann.
Großkunden wie Amazon etc. bekommen sicherlich noch einen sehr kräftigen Rabatt, der in der Gegend 50-60% liegen dürfte.

 

[fdsonne]

Mhhh stimmt, die Kosten pro Monat hatte ich unterschlagen...

 

[jenker]

Die Frage ist doch aber, muss man den Service von Google und Co nutzen oder kommt man nicht auch mit anderen Lösungen klar? In unserer Firma setzen wir auf die Dienstleistungen von eurodata, wobei wir auch einige SaaS-Lösungen von denen nutzen. Deren Cloud ist "made in Germany", was ich viel beruhigender finde, als wenn die Amis unsere Daten haben, wobei wir da noch viel weniger wissen, was mit den Daten geschieht.

 

[iceman84]

habs zwar nur grob überflogen, aber denkt auch mal daran das es wohl noch wesendlich mehr speicherplatz ist, da die systeme vor ort warscheinlich auch noch parity / raids sind, ein backup (offline) und duplizierung andere datencenter fällt auch noch an.