Idee: Datensynchronisierung von 20 PCs Laptops, Smartphones über das Internet!?

corross

Enthusiast
Thread Starter
Mitglied seit
28.07.2008
Beiträge
643
Hallo,

Wie ihr im Titel schon sehen könnt, möchte ich für eine beachtliche Anzahl von Geräten einen Datenabgleich übers Netz realisieren. Der Hintergrund der Sache ist, dass meine Familie über ganz Deutschland verstreut arbeitet. Ich bin sowas, wie das Mädchen für alles, wenn es um die technischen Geräte, deren Aufrüstung und die Datensicherung geht. Zum Backup der Familiendaten hatten wir immer einen PC/Server, den wir über eine verschiedene Wechseldatenträger mit Daten gefüttert haben. Das war noch recht einfach, als jeder nur einen PC sein eigen nannte, doch mittlerweile kommen immer mehr Endgeräte dazu. Man verliert die Übersicht, auf welchem Gerät oder Speichermedium welche Daten liegen.
Darum soll also jetzt ein Synchronisierungs-und Backup Server her, der uns die Rennerei mit Festplatten erspart, genau wie RAID1-SSD Setups die man jedes Jahr einmal für TRIM zerlegen muss, und das Grübeln, ob die Urlaubsfotos jetzt auf dem Handy, dem USB-Stick, der externen, der micro-SD Karte, dem PC, oder dem Server sind...

Ziele:
Z1) alle Daten auf einem Server abspeichern.
Z2) Dopplungen sollen automatisch erkannt und gelöscht werden.
Z3) Der Server soll einen Windows Remote-Desktop zur Fernwartung besitzen, auf dem mehrere Benutzer gleichzeitig arbeiten können, ähnlich Teamviewer remote Desktop
Z4) Automatische Einordnung und Katalogsierung von Videos, Fotos, Dokumenten, Musik, Programmen, CAD-Daten, Adobe Creative Suite- Projekten etc. nach Benutzer & Zeit
Z5) Speicherkarten und USB-Sticks, die in den Kartenleser eines PCs im Netzwerk angesteckt werden, sollen nach Druck auf einen Taster in den PC eingelesen, entleert und deren Daten dann auf dem Server abgespeichert werden.
Z6) die Geräte im Netzwerk sollen über den Server an-und Abschaltbar sein, sodass ich zum Beispiel vor dem nach Hause kommen meinen PC über das Android-Smartphone einschalten kann, oder mir auf Arbeit ein paar Dokumente vom Heimischen PC ziehen kann.
Z7) regelmäßiges, automatisches Backup
Z8) Malwarescanner
Z9) wöchentliches Backup des Servers auf ein RAID-5 NAS im Keller.
Z10) später: Integration neuer Geräte, z.Bsp. 3D-Drucker Ultimaker2 und Start des 3D-Drucks über den Server.

Probleme:
P1) - upload der DSL-Leitungen vs erwartetes Datenvolumen: am Tag produzieren wir zusammen im Schnitt ~25GB an neuen Daten, verteilt auf 10 Personen (letztes Jahr kamen 9TB dazu. /365~25GB)
d.h. ein Familienmitglied würde täglich etwa 2.5GB an neuen Daten hochladen.
Bei einem Upload von 500kbit/s würde es somit ~13h dauern, bis die Daten mit dem Server synchronisiert sind. Ich werde für den Upload etwa die Halbe Bandbreite der DSL-Leitungen reservieren, sodass noch problemloses Surfen und spielen möglich ist.
Der Server wiederrum braucht eine um ein vielfaches höhere Uploadgeschwindigkeit, wenn 6 Leute per remote auf den Serverdesktop zugreifen wollen, und ggf. Daten herunterladen. Mit Deutschlands aktuell lächerlichen DSL-Uploadgeschwindigkeiten komme ich da nicht weiter. Ich dachte an einen dedicated Server bei OVH mit 500Mbit/s Upload, 1GBit/s Burst. Die 100EUR/Monat Kosten würden auf die Familienmitglieder aufgeteilt.
P2) -Komprimierung von Daten: Um den Traffic möglichst gering zu halten, und die Datenübertragung letztendlich schneller zu machen, brauche ich eine effektive Lösung zur Datenkomprimierung. Was eignet sich hier besonders gut?
P3) - welche Schnittstellen wären am geeignet, um fehlerfreie Synchronisierung von Smartphones, PCs, Kameras, Speicherkarten und Sticks zu erreichen, die verschiedene Betriebssysteme verwenden (Win7, Win XP, Mac OS X, CentOS, Android 5.1, Ubuntu)?

tldr?:
Was haltet ihr von dem "Projekt"? Welche Literatur könnte ich mir zu dem Thema durchlesen?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ist ein sehr schwieriges unterfangen das du da hast, weil doch sehr viele Dinge auf einmal abgedeckt werden sollen.
Hier mal mein Ansatz das best möglich abzudecken.

Einen RootServer mieten, auf VMware ESX 3 VMs installieren - Sophos UTM, Server 2012 R2 und ein Linux mit Owncloud (mit der von dir angesprochenen Bandbreite und den Datenmengen wirst du mit einer Heimlösung nicht weit kommen, auch nur eine oder keine fixe IP Adresse wird hier ein Problem). Evtl. Ownlcoud direkt auf dem Server 2012 betreiben. Und die Sicherung dann mit Veeam Endpoint Backup realisieren.
Den Server 2012 R2 würd ich als Terminalserver konfigurieren für das von dir angesprochene arbeiten mehrerer Benutzer auf dem Server - was da gearbeitet werden sollen wäre evtl. noch interessant.
Für die Synchronisation der Daten würd ich auf der Linux VM Owncloud betreiben. Jeder Benutzer hat seinen eigenen Bereich, das anlegen von geteilten Ordnern die alle Benutzer sehen ist möglich.
Deinen Owncloud Ordner kann man über den Client oder per Webdav am Server einbinden. Den Client gibt es für alle von dir genannten Systeme.
Über die Sophos UTM kannst du dann VPN Zugriff realisieren.

Für das einschalten der Geräte im Heimnetzwerk würd ich auch hier einen kleinen "Server" (HP Microserver mit etwas mehr RAM ?) auch mit VMware ESX mit einer Sophos UTM betreiben. Auch hier besteht dann die Möglichkeit eines VPN Zugriffs über den du dann mit div. Tools Wake on Lan machen kannst. Zwischen beiden UTMs würde ich noch einen Site to Site VPN aufbauen damit die von den erstellen Sicherungen zyklisch)evtl monatlich wegen der Datenmenge) auf deine heimische NAS übertragen kannst. Sicherung der VMs würde ich mit Veeam ZIP oder einer anderen Lösung realisieren und auf einem Share beim HostingProvider zwischenspeichern.
 
corross: Fr3@k: bei mir scheitert es im Moment noch an einer Rootserverlösung wo man vernünftig VMware ESX installieren kann und diese nur intern an die Sophos durchrreicht.
Sicherheitstechnisch macht es eher sinn sich 2 root Server zu mieten. 1x Sophos 1x Server und dann alles über die Sophos zu routen.

Das ganze ist wieder custom und nicht Standard, also kostet mehr (viel) Geld...

Ich bin mitterweile bei Vultr sehr glücklich. Eine Sophos UTM läuft dort für $5 im Monat und stellt meiner Sophos daheim über S2S eine öffentliche IPv4 (inkl. Reverse DNS) zur Verfügung :-)
Da schöne bei Vultr ist, man kann auch private Netze einrichten. Insgesamt günstiger als ein root Server, allerdings nur dann wenn du nicht eine so sehr große Maschine brauchst.
 
Zuletzt bearbeitet:
Jetzt mal ne Frage, wie sieht denn die Datenverteilung aus?
Hat jeder sein eigenes Datenfach sprich Ordner?
Müssen denn alle User alles sehen?

Bei mir sieht das ähnlich aus wie bei dir. Bei mir allerdings aufgrund der kleinen Gruppe an "bedürftigen" Fam-Mitglieder und meines doppelten Haushaltes eben etwas anders.
Ich habe zwischen den Standorten ein site2site VPN aufgespannt, so dass ich nen permanenten Netzwerklink habe. (gelöst mit Drayteks, die kenne ich seit 10Jahren in genau solchen Anwendungen)
(und das mit dyn. IPs)

Remote @home arbeiten kannst du fastvergessen. Selbst mit 10mbit Upload wird das nicht flüssig, insbesonders wenn mehrere User gleichzeitig arbeiten.
Je nach Inhalt der Session. Text, Word, etc. OK, Bilder noway, eine Frage der zu aktualisierenden Daten.

Ich würde einfach dezentral die Daten aggregieren, zum Beispiel auf einem NAS oder miniServer. Die User arbeiten letztendlich mit genau diesen Daten.
Dieser Server macht letztendlich eben permanent einen Abgleich mit dem Mainserver und dieser sorgt dann für die Redundanz und Backups.
Diese Miniserver stattest du vornehmlich mit IPMI oder vPro aus, so dass du selbst aus der Ferne den Server komplett neu aufsetzen kannst, ohne dass du Hand anlegen musst.
So habe ich das auch gemacht. Standardserver mit vPro. Selbst die Clients sind standardisiert mit vPro, so dass ich selbst aus der Ferne nen Windows neu installieren kann.

PS: Es gibt auch Möglichkeiten mehrere VDSL Anschlüsse zu bündeln.

EDIT:
Ich persönlich würde keinen Server im Internet hosten.
Da lieber ne 2. VDSL Leitung nehmen und so den Speed doppeln. Das bekommt man dann auch abgehandelt, insbesondere wenn die Daten vorher schon entsprechend dezentral gehalten sind.
Da kannste auch 25GB am Tag durchs Netz schieben. In der Nacht kannst du ja zB. den Upload voll anziehen.
 
Zuletzt bearbeitet:
corross: Fr3@k: bei mir scheitert es im Moment noch an einer Rootserverlösung wo man vernünftig VMware ESX installieren kann und diese nur intern an die Sophos durchrreicht.
Sicherheitstechnisch macht es eher sinn sich 2 root Server zu mieten. 1x Sophos 1x Server und dann alles über die Sophos zu routen.

Das ganze ist wieder custom und nicht Standard, also kostet mehr (viel) Geld...

Ich bin mitterweile bei Vultr sehr glücklich. Eine Sophos UTM läuft dort für $5 im Monat und stellt meiner Sophos daheim über S2S eine öffentliche IPv4 (inkl. Reverse DNS) zur Verfügung :-)
Da schöne bei Vultr ist, man kann auch private Netze einrichten. Insgesamt günstiger als ein root Server, allerdings nur dann wenn du nicht eine so sehr große Maschine brauchst.

Also für günstige Root Server würd ich mal hier schauen:

Angebote | IP Projects - Forum

Da gibts immer wieder Restposten Angebot um gute Preise, ist zwar nicht super günstig aber der Support ist sehr gut.
Auch wenn ESX nicht offiziell angeboten wird - bzw. nicht fiür alle Server, habe ich das schon desöfteren installiert, dazu einfach bei der Bestellung vereinbart das man für die erst Installation
eine IP KVM an den Server angeschlossen bekommt. Falls nötig ein Installation Image mit benötigten Treiber gebastelt, installiert und gefreut :d. Deren Support reagiert sehr schnell und sie sind echt fexibel.
 
Fr3@k: wie ist das Sicherheitskonzept? ESX kann kein NAT und ein exposed ESX zum Internet ist ziemlich gefährlich ohne Firewall dazwischen. Bekommt man dort 2 NICs?
 
Eine UTM, wie Sophos, Kerio Control, IPfire oder pfsense als Gatekeeper. Dahinter dann alle anderen VMs in einem virtuellen Netzwerk. ESXi kann kein NAT, aber die Firewall VM schon. :)
 
Fr3@k: wie ist das Sicherheitskonzept? ESX kann kein NAT und ein exposed ESX zum Internet ist ziemlich gefährlich ohne Firewall dazwischen. Bekommt man dort 2 NICs?

Tatsächlich lässt sich auch ein dedizierter ESXi-Server mit nur einem NIC sicher vom Internet trennen. Dazu wird allerdings für die Einrichtung eine KVM-IP-Konsole benötigt.

EDIT: Da bin ich zu langsam gewesen.
 
Fr3@k: wie ist das Sicherheitskonzept? ESX kann kein NAT und ein exposed ESX zum Internet ist ziemlich gefährlich ohne Firewall dazwischen. Bekommt man dort 2 NICs?

Wie die Vorposter schon gesagt haben, ist der ESX nur kurzzeitig für die Konfiguration direkt im Internet. Später dann über die UTM nur mehr über einen Interne IP erreichbar. Mit der UTM kann man dann die Weiterleitungen an die VMs und etwaige weitere externe IPs schön handeln.
 
also nachher das Managerment vom ESX auf ein virtuelles Interface legen was mit der Sophos verbunden ist und die "echte" NIC an die Sophos durchrreichen?
Gibt es da ein Tutuorial? Hatte bisher nur welche gehabt die mehrere öffentliche IPs benötigen.
 
Also im Wesentlichen geht man da wie folgt vor:
  1. Installation ESXi
  2. Zugriff per vSphere-Client auf die öffentliche IP
  3. Anlegen eines virtuellen LAN
  4. Anlegen einer Gateway-VM (z.B. mit pfsense)
    • NIC 1 ist das physische NIC
    • NIC 2 liegt im virtuellen LAN
  5. Konfiguration der VM
    • Im Wesentlichen muss das Routing zwischen den beiden NICs konfiguriert werden. Eigentlich entspricht die Konfiguration ziemlich der Konfiguration eines pfsense im Einsatz im heimischen LAN als Gateway ins Internet.
    • Ebenso muss der Zugriff von außen auf das ESXi-Management im virtuellen LAN erlaubt werden. Dies kann zum Beispiel über eine Firewall-Regel erfolgen die den direkten Zugriff erlaubt, oder aber auch über die Möglichkeit sich per VPN in das virtuelle LAN zu verbinden (zum Beispiel auf eine gesonderte VM). Prinzipiell ist auch eine einfache VM mit installiertem Teamviewer-Service denkbar. Diese VM sollte man dann natürlich besser nicht ausschalten, sonst hat man sich wieder ausgesperrt.
  6. Umlegen des ESXi-Management auf das virtuelle LAN
    • Die vorgenommene Konfiguration sollte sorgsam geprüft werden, ansonsten sperrt man sich in diesem Schritt aus und es ist wieder Zugriff über eine IP-KVM notwendig.

Ich habe diese Konfiguration einige Zeit mit einem Server aus der Hetzner-Serverbörse betrieben.
 
bst92: das hört sich ja sehr einfach an. Danke! also keine 2. IP oder zusätzliche Subnetze nötig?
 
Moin,
hört sich mega spannend das Projekt an, wünsche schon mal gutes gelingen.
Würdest du, falls du dir einen Server kaufst und keinen im Internet mietest mal ein Log erstellen oder Review oder was auch immer?
Denke das würde viele interessieren. Mich auch! =)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh