"Filesharing" Tool für LAN-Party gesucht

[Liesel Weppen]

vielleicht.

Jetzt definitiv offensichtlich komplett.

Ich stelle mir das in meiner Phantasie so vor:
Du hast diesen PC mit M.2 SSD und 10Gbit SFP+ -> Switch 24x1Gbit Ports
(ich gehe davon aus, das die LAN Kandidaten eh nur maximal 1Gbit Onboard haben).

Der PC wird vor der LAN an einer Internetleitung geupdatet. Die Daten sind da also vorhanden.
Nun können die 8 Leute ihre 60GB mit 1Gbit/s pro Sekunde ziehen. Schneller würde es dann auch mit anderer Software dann auch nicht gehen.

Nein, das hat überhaupt nichts mit dem zu tun, was ich suche.

Nein, ist nicht schwer zu verstehen.

Ist und bleibt nur ziemlich sinnlos.

Ich habe aber nicht gefragt, ob du das für sinnvoll oder sinnlos hältst, sondern ich habe gefragt, ob irgendjemand sowas kennt. Und überhaupt, überlass es bitte mir, mich zu entscheiden, was für mich sinnlos ist und was nicht.
Torrent und DC wurden schon genannt, habe beides getestet und beides ist aufgrund von Einschänkungen die ich jetzt schon mehrfach genannt habe, nicht für mein Vorhaben geeignet. Wobei beide Ansätze verfolgen, die ich bräuchte. Ich bräuchte im Prinzip genau die Mischung aus beidem.

Du kannst es, abseits dessen für wie sinnlos du das auch immer hältst, als etwas sehen, dass mich einfach interessiert und ich gerne optimieren will, einfach auch nur, weil ich wissen will obs geht. Wenn es dann für dich nur sinnlose 10 Minuten spart, ist es für mich ein Erfolg, weil es funktioniert.

Das da hier Antworten wie "Windows Dateifreigabe, FTP-Server, Fileserver mit 10Gbit/s" etc. war zu erwarten, aber das ist nicht das was mich interessiert. Und sas ich mir für 2000€ Hardware kaufen kann, die das ganze schneller macht, ist mir schon klar.

 

[VDC]

Alles was du nur über kleine Programme "optimierst" wird halt nur leidlich schneller als die manuelle Variante sein. Interesse an Lösungen kann ich verstehen, aber auf Biegen und Brechen lässt sich nicht jede Idee in jeder Umgebung umsetzen. Größtes Problem bei der Größe von LAN ist der Aufwand der Aktion und die Akzeptanz der User, weil "einfach" ist das nicht mehr.

Und einfach mal alles lesen und auch kommentieren und sich nicht vom ersten Aufhänger direkt aus dem Konzept bringen lassen .

Kein Mensch sagt, du musst 2k€ investieren, du redest davon, dass schon mehrere Server irgendwo laufen, da muss doch noch ein wenig an Ressourcen für solche Späße über sein.

 

[Dezai]

Guter Hinweis, aber wenn ich das richtig verstehe, kann ich da nicht vorab Downloads cachen? Das hilft also nur insofern, dass wenn 3 Leute ein Spiel installieren müssen, es nur einer runterlädt und die anderen beiden dann aus dem Cache kriegen. Ich will aber sogar diesen einen Download vermeiden, weil idR mindestens ein anderer Teilnehmer das Zeug sowieso schon lokal hat.
Die Dimension ist eine andere. Wir reden hier nicht davon eine "mickrige" 500Mbit/s Leitung auf 300 Teilnehmer zu entlasten, wir reden hier eher davon eine 3Mbit/s Leitung für 20 Teilnehmer zu schonen.

Wie gesagt, die Daten sind ja meist eh schon lokal da, nur die Verteilung erfolgt aktuell manuell, was halt ziemlich nervig ist.

Wie wäre es wenn du vorab die Spiele runterlädst?
Dann sind Sie im Cache und jeder greift auf den Cache zu.

Das war denke ich auch die Idee meines Vorredners

 

[Liesel Weppen]

Alles was du nur über kleine Programme "optimierst" wird halt nur leidlich schneller als die manuelle Variante sein. Interesse an Lösungen kann ich verstehen, aber auf Biegen und Brechen lässt sich nicht jede Idee in jeder Umgebung umsetzen. Größtes Problem bei der Größe von LAN ist der Aufwand der Aktion und die Akzeptanz der User, weil "einfach" ist das nicht mehr.

Die Kopiererei und dadurch entstehende Wartezeit und die Notwendigkeit das alles manuell zu organisieren nerven usnere übilchen Teilnehmer. Das ist nunmal so.
Man kann regelmäßig wetten abschließen, in wieviel Minuten der nächste Quer durch den Raum brüllt "Von wem soll ich jetzt nochmal saugen? Wie heisst sein Rechner nochmal? Ich komm da aber nicht auf die Freigaben!,..."

Kein Mensch sagt, du musst 2k€ investieren, du redest davon, dass schon mehrere Server irgendwo laufen, da muss doch noch ein wenig an Ressourcen für solche Späße über sein.

Ok, der Begriff "Server" ist hier wohl nicht eindeutig genug. Mit "Server" meinte ich, dass ich z.B. meinen T20 mitbringe und 1-2 andere Leute auch noch Rechner, an denen halt keiner aktiv spielt, sondern auf denen halt ein paar Dedicated Gameserver laufen. Also nix in Richtung professioneller Serverhardware, 10Gbit/s hat da keiner und wir haben auch keinen Switch, der 10Gbit/s in irgendeiner Weise anbinden könnte. Abgesehen davon, dass keiner dieser Server 10Gbit/s sinnvoll liefern könnte, selbst wenn es das Netzwerk hergibt, weil in diesen "Servern" idR sogar HDDs (zumindest als Massenspeicher) werkeln und wenn einer mal sogar eine SSD drin hat, dann liefert die meistens eben auch keine 10Gbit/s, weil die SSD wegen vielen kleinen Zugriffen zusammenbricht, besonders wenn dann gleich 5 Leute gleichzeitig von dieser einzelnen SSD kopieren wollen.
"Server" wären also insofern vorhanden, auf denen man Software wie z.B. einen DC-Hub oder eine Torrent-Tracker laufen lassen kann. Das "Verteilsystem" muss also nichtmal rein P2P sein (was DLAN sogar ist).

Ich versuche das Problem ja zumindest schonmal soweit abzumildern, indem ich meine Steamspiele schon vor der LAN auch auf meinem T20 parke. Sauger haben dann also zumindest schonmal 2 mögliche Quellen. Meinen Spiele-PC und meinen Server. Das geht aber logischerweise auch nur mit Spielen, die ich selbst besitze. Ich spiele aber nicht alles, was auf der LAN so gezockt wird.
Zumindest darüber meinen T20 Link-Aggregation-tauglich zu machen und zumindest mal einen Switch zu kaufen der das könnte, hatte ich auch schon mal geguckt. Aber das soll wohl auch ziemlich frickelig sein und auch nur in bestimmten Fällen etwas bringen. Immerhin für den Fall, dass das 2 Leute Netzwerkseitig gleichzeitig jeweils 1Gbit/s vom Server kriegenm, soll es wohl was bringen.
Das ist dann aber im Endeffekt auch nur eine Quelle mehr, weil dann halt 2x1Gbit/s vom gleichen Rechner. Ändert aber nichts an der Verteilung "wer kopiert von wem".

Die Akzeptanz der Software spielt auch eine große Rolle, das ist richtig. Bei DLAN wurde eben dieses beschriebene beschissene Freigabe-Verfahren bemängelt, weil halt aufgefallen ist, dass diverse Leute dann urplötzlich ihre ganze Festplatte geteilt hatten, obwohl sie eigentlich nur ein Spiel saugen wollten. Abseits von dem tut DLAN aber genau das was ich haben will, funktioniert auch und ist in unserer Konstellation tatsächlich DEUTLICH schneller.

Bei Torrent und DC müssen sich die "Benutzer" ja zumindest nicht mit der Serverseite rumschlagen, das mache ich ja vorher. Dateien zu packen und einen Torrent zu erstellen und am Tracker "anmelden" kriegen die Leute aber hin. Bei DC bin ich trotz allem schon wieder schwer am Zweifeln, ob das in unserem Maßstab akzeptiert wird (wir haben ja keine 500-Mann-LAN). Habe den originalen DC++- und EiskaltDC-Client ausprobiert und die Bedienung ist echt grauenvoll.

Meine Idealvorstellung wäre, man öffnet ein Programm und sieht in einem Explorer-ähnlichen Browser, was im LAN alles angeboten wird, rechtsklick, runterladen, Zielordner auswählen (ein beliebiger, was runtergeladen wird, wird automatisch weiterverteilt, aber halt NUR das, nicht alles aus dem übergeordnetem Ordner wie bei DLAN) und los gehts und irgendwo sollte man sehen können, was man selbst bereitstellt und das natürlich auch entfernen können. Wenn es eine Client-Server-Architektur ist, muss man nach dem Start ggf. noch kurz die IP/Name des entsprechenden Servers eingeben, aber mehr sollte auf Benutzerseite eigentlich nicht nötig sein.

- - - Updated - - -

Wie wäre es wenn du vorab die Spiele runterlädst?
Dann sind Sie im Cache und jeder greift auf den Cache zu.

Hab ich alle Spiele, die auf der LAN gespielt werden? Oder kennst du überhaupt jemanden, der alle Spiele hat, die alle zusammen auf so einer LAN mal spielen?

Und ich soll jetzt alle meine Spiele lokal nochmal löschen, damit ich sie explizit nochmal neu runterladen kann?
Nur die Spiele die ich installiert habe sind um die 800GB... und ich soll jetzt 800GB neu runterladen, nur damit die in einem Cache landen? Also selbst mit meiner 200Mbit/s Leitung zuhause würde das... grob geschätzt 10h dauern...

Und selbst wenn dann auf der LAN 3 Leute aus dem Cache saugen und damit zumindest nicht die Internetleitung zum glühen bringen, saugen die alle aus der gleichen Quelle, die eben selber auch nur mit 1Gbit/s am Netz hängt. Hat also keinerlei Vorteil gegenüber irgendeinem PC der die Daten schon hat und die per Windowsfreigabe einfach frei gibt.

 

[VDC]

Die Kopiererei und dadurch entstehende Wartezeit und die Notwendigkeit das alles manuell zu organisieren nerven usnere übilchen Teilnehmer. Das ist nunmal so.
Man kann regelmäßig wetten abschließen, in wieviel Minuten der nächste Quer durch den Raum brüllt "Von wem soll ich jetzt nochmal saugen? Wie heisst sein Rechner nochmal? Ich komm da aber nicht auf die Freigaben!,..."

Ok, der Begriff "Server" ist hier wohl nicht eindeutig genug. Mit "Server" meinte ich, dass ich z.B. meinen T20 mitbringe und 1-2 andere Leute auch noch Rechner, an denen halt keiner aktiv spielt, sondern auf denen halt ein paar Dedicated Gameserver laufen.

Ein T20 gilt aber schon als Server, wobei die Dienste und nicht die HW entscheidet, was Server und was Client ist.

Also nix in Richtung professioneller Serverhardware, 10Gbit/s hat da keiner und wir haben auch keinen Switch, der 10Gbit/s in irgendeiner Weise anbinden könnte. Abgesehen davon, dass keiner dieser Server 10Gbit/s sinnvoll liefern könnte, selbst wenn es das Netzwerk hergibt, weil in diesen "Servern" idR sogar HDDs (zumindest als Massenspeicher) werkeln und wenn einer mal sogar eine SSD drin hat, dann liefert die meistens eben auch keine 10Gbit/s, weil die SSD wegen vielen kleinen Zugriffen zusammenbricht, besonders wenn dann gleich 5 Leute gleichzeitig von dieser einzelnen SSD kopieren wollen.

Also ich hab gute Erfahrungen mit ner 08/15 50€ 250GB SSD als Cache gemacht (6TB Steambibliothek + "LAN-Games"), die Einbrüche waren da, aber minimal, spätestens beim 2. Download sah man den Unterschied.

"Server" wären also insofern vorhanden, auf denen man Software wie z.B. einen DC-Hub oder eine Torrent-Tracker laufen lassen kann. Das "Verteilsystem" muss also nichtmal rein P2P sein (was DLAN sogar ist).

VM mit Windows Server -> Mini-Domäne basteln -> DFS + DNS einrichten
für die anderen Kisten entsprechend VMs vorbereiten

Ich versuche das Problem ja zumindest schonmal soweit abzumildern, indem ich meine Steamspiele schon vor der LAN auch auf meinem T20 parke. Sauger haben dann also zumindest schonmal 2 mögliche Quellen. Meinen Spiele-PC und meinen Server. Das geht aber logischerweise auch nur mit Spielen, die ich selbst besitze. Ich spiele aber nicht alles, was auf der LAN so gezockt wird.

Zumindest darüber meinen T20 Link-Aggregation-tauglich zu machen und zumindest mal einen Switch zu kaufen der das könnte, hatte ich auch schon mal geguckt. Aber das soll wohl auch ziemlich frickelig sein und auch nur in bestimmten Fällen etwas bringen. Immerhin für den Fall, dass das 2 Leute Netzwerkseitig gleichzeitig jeweils 1Gbit/s vom Server kriegenm, soll es wohl was bringen.
Das ist dann aber im Endeffekt auch nur eine Quelle mehr, weil dann halt 2x1Gbit/s vom gleichen Rechner. Ändert aber nichts an der Verteilung "wer kopiert von wem".

s.o. DFS-Namespaces wäre eine Wahl für horizontale Skalierung über einen Namen (\\download oder was auch immer), Linux geht auch, die Komplexität ist dann nur höher, da weiss ich nicht, wie fit du da bist.

Und mit den aktuellen Windows-Server Derivaten geht auch easy Switchunabhängiges Aggregieren, 180 Tage darf man ja testen, falls Lizenzen ein Problem sind.

Die Akzeptanz der Software spielt auch eine große Rolle, das ist richtig. Bei DLAN wurde eben dieses beschriebene beschissene Freigabe-Verfahren bemängelt, weil halt aufgefallen ist, dass diverse Leute dann urplötzlich ihre ganze Festplatte geteilt hatten, obwohl sie eigentlich nur ein Spiel saugen wollten. Abseits von dem tut DLAN aber genau das was ich haben will, funktioniert auch und ist in unserer Konstellation tatsächlich DEUTLICH schneller.

Ich schmeiss mal Syncthing und ResilioSync in die Mitte, die brauchen allerdings ewig und 3 Tage zum Starten der Transfers, weil die erstmal die ganzen Verzeichnisse indizieren.

Meine Idealvorstellung wäre, man öffnet ein Programm und sieht in einem Explorer-ähnlichen Browser, was im LAN alles angeboten wird, rechtsklick, runterladen, Zielordner auswählen (ein beliebiger, was runtergeladen wird, wird automatisch weiterverteilt, aber halt NUR das, nicht alles aus dem übergeordnetem Ordner wie bei DLAN) und los gehts und irgendwo sollte man sehen können, was man selbst bereitstellt und das natürlich auch entfernen können. Wenn es eine Client-Server-Architektur ist, muss man nach dem Start ggf. noch kurz die IP/Name des entsprechenden Servers eingeben, aber mehr sollte auf Benutzerseite eigentlich nicht nötig sein.

Das könnte man mit nem kleinen Webserver erledigen (z.b. ResilioSync erlaubt Verlinkungen für Shares), du müsstest dann nur händisch für jedes Spiel den Link aktualisieren bzw. kannst diese vorbereiten.

Hab ich alle Spiele, die auf der LAN gespielt werden? Oder kennst du überhaupt jemanden, der alle Spiele hat, die alle zusammen auf so einer LAN mal spielen?

Also normal gibt es bei uns so 4-5 Games, die gezockt werden und die mehr oder minder auch jeder hat bzw. günstig nachkaufen könnte.

Und ich soll jetzt alle meine Spiele lokal nochmal löschen, damit ich sie explizit nochmal neu runterladen kann?
Nur die Spiele die ich installiert habe sind um die 800GB... und ich soll jetzt 800GB neu runterladen, nur damit die in einem Cache landen? Also selbst mit meiner 200Mbit/s Leitung zuhause würde das... grob geschätzt 10h dauern...

Ist doch nur eine Nacht

Und selbst wenn dann auf der LAN 3 Leute aus dem Cache saugen und damit zumindest nicht die Internetleitung zum glühen bringen, saugen die alle aus der gleichen Quelle, die eben selber auch nur mit 1Gbit/s am Netz hängt. Hat also keinerlei Vorteil gegenüber irgendeinem PC der die Daten schon hat und die per Windowsfreigabe einfach frei gibt.

s.o. du kannst mehr als 1 GBit/s bekommen.

 

[FloWzoW]

Wie wäre es mit einem FTP-Server? Kann man mit jedem Browser öffnen

 

[Liesel Weppen]

Also ich hab gute Erfahrungen mit ner 08/15 50€ 250GB SSD als Cache gemacht (6TB Steambibliothek + "LAN-Games"), die Einbrüche waren da, aber minimal, spätestens beim 2. Download sah man den Unterschied.

Ich habe die letzten Tage erst Steam-Bib-Ordner wegen Festplattenwechsel zwischen HDD, M.2 PCIe, SSDs und SSD-Raid rumkopiert. Selbst die Datenrate der M.2 fällt auf wenige MB/s ab, wenn da irgendein Ordner mal wieder 5000 einzelne Dateien a 1kB enthält.
Das Problem dabei dürfte eher das OS mit den Filesystemzugriffen sein, weil die Daten liegen ja selbst auf einer HDD idR "am Stück" und könnten rein hardwareseitig als "squential Read" gelesen werden.
Das habe ich schon als Flaschenhals erkannt, den ich nicht (realistisch) beheben kann. Aber wenn man eben von 3 Sourcen gleichzeitig kopiert, verteilt sich das ja auch zwangsläufig auf mindestens 3 Festplatten mit jeweils eigenen Dateisystemzugriffen.

VM mit Windows Server -> Mini-Domäne basteln -> DFS + DNS einrichten
für die anderen Kisten entsprechend VMs vorbereiten
s.o. DFS-Namespaces wäre eine Wahl für horizontale Skalierung über einen Namen (\\download oder was auch immer), Linux geht auch, die Komplexität ist dann nur höher, da weiss ich nicht, wie fit du da bist.

DFS hatte ich noch nicht auf dem Radar. Kurzer Überblick erweckt mir aber den Eindruck, das wäre nur die Darstellung verteilter Dateisysteme quasi in einem "Baum", auch wenn das Freigaben von verschiedenen Servern sind?
Wozu bräuchten die anderen Kisten dafür aber VMs?

Und mit den aktuellen Windows-Server Derivaten geht auch easy Switchunabhängiges Aggregieren, 180 Tage darf man ja testen, falls Lizenzen ein Problem sind.

Könnte man mal testen, ja. Ne Windows-Server-Lizenz will ich mir aber eigentlich nicht kaufen. Link-Aggregation wäre aber sowieso nur eine Verbesserung der Serveranbindung, nicht die Lösung für mein Problem.

BTW: Windows Server aggregiert wirklich z.B. zwei Netzwerkanschlüsse? Also 2 Netzwerkarten einzubauen und beide anzuschließen ist ja kein Problem, nur da hat dann auch jeder Anschluss eine eigene IP, man kann damit praktisch 2x1Gbit/s machen, aber eben halt definitiv nicht 1x2Gbit/s....

Ich schmeiss mal Syncthing und ResilioSync in die Mitte, die brauchen allerdings ewig und 3 Tage zum Starten der Transfers, weil die erstmal die ganzen Verzeichnisse indizieren.

Das macht auch DLAN, Torrent und DC. Müssen sie ja, weil wenn Chunks ein und derselben Datei von mehreren Quellen kopiert werden sollen, muss sichergestellt sein, dass wirklich das ganze File in allen Quellen exakt gleich ist. Also diesen "Sync-Anteil" diverser Sync- und Backuptools müssen die Filesharingtools zwangsläufig auch können.
Das ggf. so ein Sync-/Backuptool meine Anforderungen erfüllen könnte habe ich mir auch schonmal gedacht. Allerdings fehlt allen mir bekannten derartigen Tools genau die Fähigkeit mehrere Quellen mit mehreren Senken zu "koppeln".

Das könnte man mit nem kleinen Webserver erledigen (z.b. ResilioSync erlaubt Verlinkungen für Shares), du müsstest dann nur händisch für jedes Spiel den Link aktualisieren bzw. kannst diese vorbereiten.

Irgendwie über einen kleine Interne Webseite die "Downloadlinks" wenigstens ähh, "round robin auf alle Sourcen verteilt" weiterzugeben, habe ich mir in der Tat auch schon überlegt.
Habe aber irgendwie keinen Ansatz gefunden vom Server aus z.B. alle Netzwerkfreigaben zu scannen und die dann irgendwie an einen Webserver weitergeben zu können. Also das geht sicherlich irgendwie, wäre aber wieder ein erheblicher Entwicklungsaufwand.

Also normal gibt es bei uns so 4-5 Games, die gezockt werden und die mehr oder minder auch jeder hat bzw. günstig nachkaufen könnte.

Es sind bei uns auch sagen wir mal 4-5 Games die hauptsächlich gezockt werden, aber uns hat bis jetzt IMMER irgendwas gefehlt, was dann erstmal nur einer am Rechner hatte, oder das dann eben sogar einmal runtergeladen und von dort aus weiterverteilt werden musste (in diesem Fall wäre der SteamChache ja schonmal ein guter Ansatz).

Ist doch nur eine Nacht

Wenn man 4-5 Tage durchpennt, wars nur "eine Nacht".

Wegen einer Nacht schleppt bei uns keiner seinen PC rum. In der Clique kommen Leute mit bis ca. 200km Anfahrt zur LAN. Rekord letztes Jahr war iirc 280km Anfahrt, auch wenn sagen wir doch 50% der Teilnehmer in einem Umkreis von <50km leben. Hat sich halt nach der Schule, Ausbildung, Studium, Jobwechseln usw. halt mittlerweile leider alles etwas verteilt und wir wohnen nichtmehr alle in der gleichen Nachbarschaft.

 

[VDC]

Ich habe die letzten Tage erst Steam-Bib-Ordner wegen Festplattenwechsel zwischen HDD, M.2 PCIe, SSDs und SSD-Raid rumkopiert. Selbst die Datenrate der M.2 fällt auf wenige MB/s ab, wenn da irgendein Ordner mal wieder 5000 einzelne Dateien a 1kB enthält.
Das Problem dabei dürfte eher das OS mit den Filesystemzugriffen sein, weil die Daten liegen ja selbst auf einer HDD idR "am Stück" und könnten rein hardwareseitig als "squential Read" gelesen werden.
Das habe ich schon als Flaschenhals erkannt, den ich nicht (realistisch) beheben kann. Aber wenn man eben von 3 Sourcen gleichzeitig kopiert, verteilt sich das ja auch zwangsläufig auf mindestens 3 Festplatten mit jeweils eigenen Dateisystemzugriffen.


DFS hatte ich noch nicht auf dem Radar. Kurzer Überblick erweckt mir aber den Eindruck, das wäre nur die Darstellung verteilter Dateisysteme quasi in einem "Baum", auch wenn das Freigaben von verschiedenen Servern sind?
Wozu bräuchten die anderen Kisten dafür aber VMs?

Ich fasse das zusammen, dann sieht man evtl. das Ganze.

Die anderen Kisten sind auch Fileserver, müssen aber Domänenintegriert sein, damit das DFS rennt, du kannst natürlich auch mit genügend Netzwerkanschlüssen und dedizierten Platten pro VM das Ganze in einer Hardware erledigen.

Es funktioniert so:
Du hast auf jedem Server die Freigabe Steam, der Client greift aber nur einfach auf Download\Steam und nicht SERVERXY\Steam zu, jetzt wird automatisch auf die Server verteilt.

Könnte man mal testen, ja. Ne Windows-Server-Lizenz will ich mir aber eigentlich nicht kaufen. Link-Aggregation wäre aber sowieso nur eine Verbesserung der Serveranbindung, nicht die Lösung für mein Problem.

Mehr Quellen = mehr Bandbreite/Toleranz bzgl. kleinen Dateien pro Client vorhanden.

BTW: Windows Server aggregiert wirklich z.B. zwei Netzwerkanschlüsse? Also 2 Netzwerkarten einzubauen und beide anzuschließen ist ja kein Problem, nur da hat dann auch jeder Anschluss eine eigene IP, man kann damit praktisch 2x1Gbit/s machen, aber eben halt definitiv nicht 1x2Gbit/s....

Beispiel:
Server hat einen 3 GBit/s (3x1)Teaming, der Gegenserver 10 GBit/s, dann geht bei SMB 3.0 auch 3 GBit/s Transfer. Die Teams haben nur eine IP, nicht eine pro Anschluss.

Das macht auch DLAN, Torrent und DC. Müssen sie ja, weil wenn Chunks ein und derselben Datei von mehreren Quellen kopiert werden sollen, muss sichergestellt sein, dass wirklich das ganze File in allen Quellen exakt gleich ist. Also diesen "Sync-Anteil" diverser Sync- und Backuptools müssen die Filesharingtools zwangsläufig auch können.
Das ggf. so ein Sync-/Backuptool meine Anforderungen erfüllen könnte habe ich mir auch schonmal gedacht. Allerdings fehlt allen mir bekannten derartigen Tools genau die Fähigkeit mehrere Quellen mit mehreren Senken zu "koppeln".

Conflict Resolution ist da ganz einfach, die neuste Datei gewinnt und wird auf den anderen Quellen überschrieben und in einen entsprechenden Ordner gepackt.

Irgendwie über einen kleine Interne Webseite die "Downloadlinks" wenigstens ähh, "round robin auf alle Sourcen verteilt" weiterzugeben, habe ich mir in der Tat auch schon überlegt.

Davon rede ich nicht, installier dir mal das Resilio, da bekommste "Teilen" Links und diese Links werden dann einfach über die Website verteilt.

Es sind bei uns auch sagen wir mal 4-5 Games die hauptsächlich gezockt werden, aber uns hat bis jetzt IMMER irgendwas gefehlt, was dann erstmal nur einer am Rechner hatte, oder das dann eben sogar einmal runtergeladen und von dort aus weiterverteilt werden musste (in diesem Fall wäre der SteamChache ja schonmal ein guter Ansatz).

Wenn man 4-5 Tage durchpennt, wars nur "eine Nacht".

Ich meine um deine 800GB zu preloaden um den Cache zu füllen.

 

[Liesel Weppen]

Ah ok, wenn das DFS das so macht, dann könnte das durchaus interessant sein. Muss ich mir mal genauer anschauen, ist schon über 10 Jahre her, dass ich mal eine Domäne aufgesetzt habe.
Ich befürchte nur, dass da wieder einige meckern werden, wenn sie ihren PC dann in eine andere Domäne stecken müssen.
Ich nehme mal an, es müssen dafür auch Domänen-Useraccounts verwendet werden?

Resilio schaue ich mir dann auch mal an, wenn das sowas anbietet und wie das funktioniert.

 

[VDC]

Du kannst auch "Jeder" benutzen, dann brauchen die nicht in irgendwelche Domänen gesteckt werden.

 

[Liesel Weppen]

Das Resilio sieht wirklich gut aus. Hab gerade nur 2 Rechner, kann also nicht (vernünftig) testen ob ein Zielrechner dann auch von zwei Quellrechnern kopiert, aber da das laut Wiki ja auf dem Torrent-Protokoll basiert, sollte es das tun.

Nur das man für die "Selektive Synchronisierung" die Pro braucht ist nervig. Aber gut, das kann man noch umgehen, indem man jedes Spiel einzeln frei gibt.

Blöd ist nur, wenn jetzt 3 Leute ein Spiel schon haben, erstellt einer eine Freigabe, man kann aber die anderen beiden Rechner nicht zum selben "Share" hinzufügen ohne das die selber Syncen. Und selbst einen Sync in deren schon vorhandene Installation, nur damit die fürs gleiche "Share" mitsharen können, wollen die nicht, weil sonst werden da ja ggf. veränderte Dateien (Configs, Spielstände, ...) vom Host überschrieben.
Genaugenommen will ich ja eigentlich auch keine Ordner syncen, sondern eigentlich nur einmalig kopieren.

Ist aber schon verdammt nah an dem dran, was ich mir vorstelle. Nur genau dieses klitzekleine etwas fehlt doch wieder *argh*.

--------------------------

Edit: Ah, achso, das DFS verteilt nur von Servern weg (bzw nur über einen Server)? Dann ist das ja auch unbrauchbar, soviele Server haben wir nicht und die laufen auch nicht alle auf Windows und mir jetzt 5 VMs als DFS-Server einzurichten auf nur einem Gerät was ja dann trotzdem nur 1Gbit/s im Netz und alles auf wenigen Festplatten hat, bringt ja nichts. Ausserdem liegt das Zeug ja auf einem Teilnehmer-PC und müsste ja von da dann erstmal auf einen Server kopiert werden (abgesehen von den Ausnahmen, das ich zumindest die Spiele die ich selbst habe schon vorab auf den Server kopiere).

Ich kann auf so einem Server durchaus eben sowas wie einen Hub/Tracker laufen lassen und ich kann im Falle von DC/DLAN/Torrent auf dem Server auch einen Client laufen lassen, damit der Server selbst auch noch mitsharen kann, aber der eigentliche Kopiervorgang muss schon P2P sein, nicht nur von einem (oder 3) Server weg.

 

[VDC]

Das Resilio sieht wirklich gut aus. Hab gerade nur 2 Rechner, kann also nicht (vernünftig) testen ob ein Zielrechner dann auch von zwei Quellrechnern kopiert, aber da das laut Wiki ja auf dem Torrent-Protokoll basiert, sollte es das tun.

Nur das man für die "Selektive Synchronisierung" die Pro braucht ist nervig. Aber gut, das kann man noch umgehen, indem man jedes Spiel einzeln frei gibt.

Das wolltest du ja sowieso so, da die Leute ne Website öffnen und sich die Games "aussuchen".

Blöd ist nur, wenn jetzt 3 Leute ein Spiel schon haben, erstellt einer eine Freigabe, man kann aber die anderen beiden Rechner nicht zum selben "Share" hinzufügen ohne das die selber Syncen. Und selbst einen Sync in deren schon vorhandene Installation, nur damit die fürs gleiche "Share" mitsharen können, wollen die nicht, weil sonst werden da ja ggf. veränderte Dateien (Configs, Spielstände, ...) vom Host überschrieben.
Genaugenommen will ich ja eigentlich auch keine Ordner syncen, sondern eigentlich nur einmalig kopieren.

Doch, das geht, da immer nur einer ein Schreibrecht-Link bekommt, die anderen nutzen den Readonly link.

Edit: Ah, achso, das DFS verteilt nur von Servern weg (bzw nur über einen Server)? Dann ist das ja auch unbrauchbar, soviele Server haben wir nicht und die laufen auch nicht alle auf Windows und mir jetzt 5 VMs als DFS-Server einzurichten auf nur einem Gerät was ja dann trotzdem nur 1Gbit/s im Netz und alles auf wenigen Festplatten hat, bringt ja nichts.

Paar olle Netzwerkkarten + HDDs rein , alleine durch das Verteilen auf mehrere dedizierte Platten holst du eine Menge raus.

Ausserdem liegt das Zeug ja auf einem Teilnehmer-PC und müsste ja von da dann erstmal auf einen Server kopiert werden (abgesehen von den Ausnahmen, das ich zumindest die Spiele die ich selbst habe schon vorab auf den Server kopiere).

Damit wirste aber wahrscheinlich schon den größten Teil erschlagen haben.

Ich kann auf so einem Server durchaus eben sowas wie einen Hub/Tracker laufen lassen und ich kann im Falle von DC/DLAN/Torrent auf dem Server auch einen Client laufen lassen, damit der Server selbst auch noch mitsharen kann, aber der eigentliche Kopiervorgang muss schon P2P sein, nicht nur von einem (oder 3) Server weg.

Deshalb das Resilio, ist mir leider erst später eingefallen.

 

[Liesel Weppen]

Das wolltest du ja sowieso so, da die Leute ne Website öffnen und sich die Games "aussuchen".

Die "Webseite" hab ich gar nicht gefunden. Wenn man das als Service laufen lässt, hat das ein Webinterface, aber ich lass doch andere nicht auf das Webinterface meines Clients, wo die sich ggf. durch Vollzugriff auf meinen Rechner eigene Shares hinzufügen können. Ich hab das ausprobiert, indem ich halt diesen Key im zweiten Client eingegeben habe (die Weblinks laufen über eine Resilio-Webseite, das will man auch nicht).

Doch, das geht, da immer nur einer ein Schreibrecht-Link bekommt, die anderen nutzen den Readonly link.

Das Problem ist genau andersrum.
Rechner A hat die Installation
Rechner B hat die Installation auch schon
Rechner C will kopieren, weil er es noch nicht hat.

Wenn ich auf Rechner A so einen Resilio-Share einrichte und den an Rechner C gebe, kopiert er ja nur von Rechner A, weil gar nicht bekannt ist, dass Rechner B auch sharen könnte.

Wenn ich jetzt aber Rechner B in das Share mit aufnehmen will, muss ich auf Rechner B den Link von Rechner A syncen, also entweder alles nochmal kopieren oder in den bestehenden Ordner syncen, wo im Idealfall eigentlich gar nichts kopiert werden sollen müsste, weil die Files ja eh gleich sind.
Wenn irgendso ein doofes Spiel Nutzdaten (z.B. Configfile mit Nickname und Char-Einstellungen oder eben Savegames) im Installationsordner speichert und ich jetzt von Rechner A auf Rechner B synce, dann überschreibt das ja ggf. auf Rechner B lokale Spielstände weil auf Rechner A die Datei den gleichen Namen hat, aber neuer ist.

Ich kann ja nicht auf Rechner A ein Share einrichten und auf Rechner B ein weiteres Share einrichten und Rechner C müsste dann von zwei Links kopieren.

Paar olle Netzwerkkarten + HDDs rein

Das sehe ich als rausgeworfenes Geld, Stromverschwendung und löst nicht mein Problem.

Wenn man mal annimmt, dass wirklich nur einer die Daten lokal hat, macht es natürlich Sinn die Daten erstmal auf einen zweiten Rechner zu kopieren. Aber wenn 3 Leute kopieren müssen, dann kopiere ich nicht erst auf einen Server wo das Zeug ja eigentlich gar nicht gebraucht wird, sondern direkt auf einen der 3 Zielrechner. Wenn dieser Kopiervorgang fertig ist, können die noch übrigen 2 Clients aus jeweils einer Quelle ziehen, von denen es ja jetzt zwei gibt.
Wenn ichs erst auf den Server kopiert hätte, hätte der erste Kopiervorgang genausolange gedauert, weil der Quellrechner mit seinen 1Gbit/s und/oder HDDs limitiert und danach müssten 3 Rechner aus 2 Quellen kopieren.
Das lohnt sich also wirklich NUR, wenn mehr als 3 Leute saugen müssen UND der Server eine Netzwerkanbindung weit über 1Gbit/s hat UND auch die Festplatten genug hergeben. Andernfalls wäre das ja eher noch langsamer.

Deshalb das Resilio, ist mir leider erst später eingefallen.

Ne, passt schon. War ein guter Vorschlag. War mir nicht bekannt und sieht nett aus, und kann ich für ganz andere Einsatzzwecke durchaus gebrauchen.

Das wirklich dumme ist halt, das man bei DLAN nur in einen Ordner kopieren kann, den man auch shared.
Ich share dann z.B. komplett D:\SteamLibrary\steamapps\common, weil ich will ja ALLE meine Spiele erstmal nur zum Verteilen anbieten.
Wenn jetzt jemand z.B. aus meiner ganzen Library CS:GO kopieren will, muss er auswählen, wohin er das speichern will und wählt dann bei sich halt X:\Steam\steamapps\common aus, weil das Spiel ja unter x:\Steam\steamapps\common\Counter-Strike Global Offensive landen soll.
Nur die doofe Software shared dann auch seine komplette Steam-Lib, also das was er als (übergeordneten) Zielordner auswählt, statt NUR das was er eigentlich saugt (und ja auch resharen soll), also CS:Go.
Kann man natürlich vermeiden, indem man nicht direkt den Ordner kopiert, sondern einen Ordner manuell mit korrektem Namen bei sich anlegt und dann nur alle Inhalte im Ordner kopiert. Nur das muss man halt wissen und dann auch daran denken. Manche Leute haben es halt nicht so damit ihre Dateien zu organisieren und installieren Spiele direkt auf C:\... und wenn du dann mit DLAN halt mal nicht dran denkst, sharest du urplötzlich deine komplette Systemplatte und merkst es ggf. nichtmal.

Wenn das nicht wäre, würde DLAN genau das tun was ich haben will und das hat es auch schon auf diversen LANs bewiesen.

Edit: Den SteamCache probiere ich nach Möglichkeit trotzdem mal aus, weil bei meinem Glück kommen genau während unserer LAN wieder irgendwelche größeren Updates für die üblichen Spiele raus und die muss ja dann immerhin nicht jeder einzeln ausm Inet saugen.
Ich will nur nicht das ganze Heimnetzwerk dort auf einen separatem DNS-Server umbiegen müssen, sondern muss erstmal gucken, ob man auf dem Router dort eigene DNS-Einträge vornehmen kann.

 

[VDC]

Du bastelst selber ne Website, wo die Links draufliegen.



Und ja, das Problem mit Anfangs nur einer Quelle ist doof, aber du kannst ja einen der Server bzw. beide als weitere Clients konfigurieren, so haste nur einen Upload und danach 2/3 Quellen für alle weiteren Downloads.

 

[Liesel Weppen]

Du bastelst selber ne Website, wo die Links draufliegen.

Sagte ich ja schon, die Idee hatte ich auch schon. Aber wie kann ich von der Webseite aus Quellen finden? Manuell eintragen, dass es Spiel A auf Rechner X, Y und Z gibt und bei jedem Click eins weiter rotieren? Abseits davon, dass man via Link von einer Webseite nur eine einzelne Datei "downloaden" kann, aber halt keine ganzen Ordner. Man bräuchte also trotzdem noch ein Tool, das ganze Ordner synct. Man könnte also schon auch mehrere Resilio-Links auf eine Webseite stellen, nur wirklich P2P ist das dann auch nicht.

Und ja, das Problem mit Anfangs nur einer Quelle ist doof, aber du kannst ja einen der Server bzw. beide als weitere Clients konfigurieren, so haste nur einen Upload und danach 2/3 Quellen für alle weiteren Downloads.

Selbst wenn es zwei Server sind, wie Lade ich denn vom Quellrechner mit nur einem Upload auf beide Server gleichzeitig? Das müsste dann ja sozusagen ein Multicastupload sein. Wäre mir nicht bekannt, das das irgendwie geht.
Also wenn man Multicast-Kopieren kann, dann wäre das Problem ja auch gelöst, wenn der Quellrechner die Daten nur einmal senden muss, egal ob 1 oder 15 Clients kopieren, weil der Switch das dann entsprechend vervielfältigt, wäre mein Problem ja auch gelöst.

 

[Freak2003]

Bittorrent funktioniert recht gut, was die Geschwindigkeit angeht. Bittorrent kann aber aber nur ganze Dateien sahren und saugen. Damit kann ich mir keinen ganzen Ordner kopieren.

Ähm nein, doch das kannst du? Bei Torrent kannst du auch einen Ordner mit mehreren Dateien sharen. Der "Standardeinsatzzweck" ist zwar gezippte Dinge oder große *.iso-s zu sharen, aber hier mal kurz ein schneller erzeugter Torrent von meinem ActionCam-DCIM-Ordner

Alternativ vll. noch "Bittorrent Sync"

 

[VDC]

Sagte ich ja schon, die Idee hatte ich auch schon. Aber wie kann ich von der Webseite aus Quellen finden? Manuell eintragen, dass es Spiel A auf Rechner X, Y und Z gibt und bei jedem Click eins weiter rotieren? Abseits davon, dass man via Link von einer Webseite nur eine einzelne Datei "downloaden" kann, aber halt keine ganzen Ordner. Man bräuchte also trotzdem noch ein Tool, das ganze Ordner synct. Man könnte also schon auch mehrere Resilio-Links auf eine Webseite stellen, nur wirklich P2P ist das dann auch nicht.

Da packste wirklich nur die Resiliolinks drauf, will wer das Game XYX hochladen, drückt er auf den Knopf, Resilio kommt hoch (bzw. die Aufforderrung zum DL von Resilio, falls noch nicht installiert), er wählt das Ziel und der Download geht los.

Ganz am Ende der Seite packste die Uploadlinks, sprich für den einen Masterrechner, der es hochpackt.

Du müsstest halt nur auf den Servern die Ordner und Links vorbereiten (basierend auf dem, was du schon selber hochlädst), für nen neues Game geht das ja auch super flott: Auf einem der Server neuen Ordner erstellen, Link in das HTML-Dokument legen, auf dem 2. Server den Link öffnen, Ordner angeben, dann noch eben dem Uploader den Schreiblink zu kommen lassen und los geht's.

Selbst wenn es zwei Server sind, wie Lade ich denn vom Quellrechner mit nur einem Upload auf beide Server gleichzeitig? Das müsste dann ja sozusagen ein Multicastupload sein. Wäre mir nicht bekannt, das das irgendwie geht.
Also wenn man Multicast-Kopieren kann, dann wäre das Problem ja auch gelöst, wenn der Quellrechner die Daten nur einmal senden muss, egal ob 1 oder 15 Clients kopieren, weil der Switch das dann entsprechend vervielfältigt, wäre mein Problem ja auch gelöst.

Du sagtest es schon, es geht nur um Chunks und die Kisten untereinander übertragen dann auch die Chunks, klar wirst du in Summe nicht nur einen Upload haben, sondern wahrscheinlich Faktor 1,5, wenn du da schon direkt 2 "Server" dranhängst.

 

[Liesel Weppen]

Weil es hier vorgeschlagen wurde, möchte ich nochmal kurz Feedback dazu geben:
Auf unserer letzten kleinen LAN-Party habe ich den Steamcache verwendet. Hat funktioniert und die Internetanbindung deutlich entlastet. War zwar etwas umständlich, weil der DHCP im Router vorort nur unter Umständen einen alternativen DNS verteilen wollte, mussten halt alle den DNS manuell auf ihren PCs eintragen.
Ich war sogar so eifrig und habe schon vorab an meinem eigenen Anschluss über 200GB an Spielen nochmal geladen, damit die schon im Cache sind. Nett gedacht, aber leider (fast) nutzlos. Im Nachhinein eigentlich logisch, aber Steam setzt den Download wohl nicht aus Updates zusammen. Also wenn die aktuelle Version 3.2 mit 10GB schon im Cache lieg und dann jemand das 5,6GB Update von Version 3.1 auf Version 3.2 zieht, bringt das leider gar nichts und selbst wenn das Update von 3.1 auf 3.2 dann im Cache liegt und irgendjemand dann das Update von 3.0 auf 3.2 saugt, liegt genau dieses Update leider wieder nicht im Cache und das ganze Update wird neu geladen. Das kumuliert von der Speicherkapazität auf dem Cache natürlich dann auch, also so ein Steamcache wird dann unter Umständen relativ schnell Speicherplatz beanspruchen.

Aber es hilft immerhin schonmal.