Hardware + Software + Tutorial für Lancache (als VM)?

[konfetti]

Schaut gut aus - welche Ressourcen hat der Cache jetzt dafür?
vorallem, wieviel Diskspace?

 

[besterino]

4TB hab ich dem mal gegeben. 8GB Ram, 8 Kerne.

Verbraucht sind aktuell etwas mehr als 200GB. Hab aber auch jetzt nicht alle meine Spiele neu herunter geladen. Vor allem New World, D2R und diverse Updates halt.

 

[i-B4se]

Wow, das kannte ich gar nicht
Hab das gerade mal auf meinem Server (Unraid und als Docker) installiert und getestet.
Vielen Dank dafür

 

[i-B4se]

Gibt es eigentlich auch die Möglichkeit bestimmt Games wieder zu löschen oder kann man nur den ganzen Cache löschen?

 

[besterino]

Joah, bin eigentlich auch ganz happy. Hab das Tutorial noch mal ein bisserl angepasst: wenn man IPv6 ausknippst, meckern die Container irgendwie rum. Da ich zu faul war, die Container manuell anzupassen - auch um das nicht bei jedem Update immer wieder machen zu müssen - hab ich Grub IPv6 wieder erlaubt...

Ich hab mal am Anfang in den Cache geschaut, die Struktur jedenfalls hab ich nicht so recht durchschaut…

 

[besterino]

Ich bin inzwischen echt recht happy mit der Lösung. Steam (meine Hauptquelle für Spiele) läuft definitiv anstandslos: über die Zeit hat der Cache das ein oder andere gespeichert: uptime ~55 Tage und ca. 560GB (auch die Lancache-VM hat ihren Speicher auf meinem zentralen Storage):

Es profitieren durchaus alle im Haus davon. Habe zum Beispiel gerade auf einer Kiste mal spontan Conan nachinstallieren "müssen" und je nach Spiel geht's tatsächlich bis zu 1Gbit hoch.

 

[oNyX`]

Habs auch schon mehrere Monate (mit eigener DNS Loesung) im Einsatz, rockt schon wirklich.

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[Der_Flo]

Habs auch schon mehrere Monate (mit eigener DNS Loesung) im Einsatz, rockt schon wirklich.

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

das scheint ja sehr gut bei dir zu laufen.
Kannst du zum Aufbau bzw. zur Einrichtung nähere Infos geben?

 

[i-B4se]

Ich bin auch noch zufrieden mit dem Cache, zwei Dinge würden diese Sache noch abrunden:
- bestimmte Inhalte (Spiele) gezielt löschen
- Spiele vorab laden ohne diese erstmal am PC laden zu müssen - So könnte man Games schon laden ohne den PC zu starten und laufen zu lassen

 

[sch4kal]

Ich bin auch noch zufrieden mit dem Cache, zwei Dinge würden diese Sache noch abrunden:
- Spiele vorab laden ohne diese erstmal am PC laden zu müssen - So könnte man Games schon laden ohne den PC zu starten und laufen zu lassen

GitHub - zeropingheroes/lancache-autofill: Automatically fill a Lancache with content

Automatically fill a Lancache with content. Contribute to zeropingheroes/lancache-autofill development by creating an account on GitHub.

github.com

 

[oNyX`]

@Der_Flo Klar, Aufbau Kurzfassung:

Proxmox Cluster mit stripped Mirror ZFS + SLOG/L2ARC (4x WD 10TB Red + 2x Seagate Nytro 1551 480GB)

> VM für Docker (Ubuntu) mit 4 Cores + 16GB Ram und ZFS Storage für die Lancache Geschichte
>> Docker + Lancache http://lancache.net/docs/containers/monolithic/

> VM für Opnsense
>> Custom DNS Overwrites für die einzelnen Services die gecached werden sollen > https://github.com/uklans/cache-domains/tree/master/scripts

Das ganze halt via 10G (Glas) auf die lokalen Clients hier verteilt.

 

[Firebl]

Ich wuerd mich an die offizielle Doku halten https://lancache.net/docs/ abgesehen davon ich mag und trau Docker auch nicht, wuerds in ner extra VM und nicht aufm Host laufen lassen. Was mich bisher davon abgehalten hat ist deren DNS Server, trau ich nicht und ist mit Abstand das kritischste im Netzwerk.

Ich habe mir jetzt auch mal sowas gebaut gemäß dieses Links.

Ein Xeon X3430 mit Proxmox, darauf eine Opnsense-Vm, welche das LAN abtrennt und eine Debian11-VM mit 4 TB Speicherplatz auf der ich die Anleitung umgesetzt habe. Wenn ich jetzt mit dem Spiele-PC versuche Spiele bei Steam herunter zu laden komme ich nur auf 1 kb/s Download nachdem ich 17GB ziehen konnte (in Abwesenheit). Jetzt kann ich tun was ich will, ich komme auch nach Neustarts nicht über 1 kb/s.
Kennt sich jemand vielleicht mit Linux aus und weiß, woran das liegen könnte?
Sobald ich die vorgeschaltete Opnsense als DNS eintrage zieht Steam normal mit 30 MB/s (DSL250).

Steam kann auch immer nur in segmenten herunterladen, anbei ein Bild.

 

[oNyX`]

So als Grundgedanke:

Überprüf ersma ob alles richtig umgeleitet wird: http://diagnostics.lancache.net/ und was sagen die Monolithic Logs?

Was sagt die Auslastung auf dem Host und der Linux VM wärend du was in Steam runterlädst? Stichworte: top, iotop, bwm-ng

Hier noch etwas Lesestoff zum debuggen: https://www.thomas-krenn.com/de/wiki/Kategorie:Linux_Performance

 

[Firebl]

Sehr eigenartig. Der LanCache läuft jetzt mit ca. 90MB/s ohne, dass ich irgendwas verändert habe. Bis 90 MB/s liege ich bei 0,25% IO-Warteschlange, ab dann steigt der Wert auf 25%. Das ist aber OK für mich, dank eines PERC6i und 4x 1 TB WD RE2 ist das kein Wunder. Ich werde das jetzt so auf der nächsten LAN ausprobieren. Im Keller verstaubt noch ein E5 2580 v0 8-Kerner, welcher dann noch etwas mehr RAM bekommt (8GB für den Hypervisor bzw. 5 GB für die VM sind zu wenig).

 

[besterino]

Bei mir brauchte der auch etwas zum Warmlaufen. Inzwischen ballert der aber tatsächlich bis zu 110MB/s übers Gigabit-Netz, manchmal wiederum aber auch nur so 70, Gründe/Reproduzierbarkeiten unklar.

Aber egal, alles besser als nur Internet (bei mir) und wenn du so ein ~30GB Spiel in 3-5 Minuten auf einer weiteren Maschine installiert hast, rockt das schon irgendwie.

 

[Firebl]

Ich habe hier DSL250000, aber es gibt hier durchaus noch prähistorische LAN-Örtlichkeiten mit DSL6000. Da lohnt es sich den Cache vorher daheim vollzufahren.

 

[besterino]

Hab auch 'ne 250er... aber 1000 is halt flotter und wenn 2 oder 3 PCs parallel installieren wollen, rockt die 10Gbit-Anbindung am Server wenigstens mal wirklich...

 

[i-B4se]

Sagt mal, funktioniert der Cache bei euch mit Origin, Rockstar-Launcher etc?
Irgendwie funktioniert der bei mir nur mit Steam.
Ist mir gerade mal so aufgefallen.

 

[besterino]

Mit Origin funzt das: Wenn ich mich richtig erinnere erkennt Origin, dass da ein "ungesicherter" Cache dazwischen hängt und fragt explizit nach, ob man trotzdem (unverschlüsselt) downloaden will.

Rockstar weiss ich grad nicht.

Epic funzt definitiv auch.

 

[i-B4se]

Danke für die Info.
Dann muss ich mir das nochmal anschauen. Ist mir gestern zufällig aufgefallen.

 

[oNyX`]

Das mit dem “ungesicherter“ Download geht aber nur bei Origin, die EA App (Nachfolger) unterstuetzt das nicht.

 

[Firebl]

Meine Erfahrung mit dem T310 war nicht ganz so erfolgreich. Ein RAID0 aus 4x 1 TB Festplatten als Storage und die 8 GB RAM sind da doch ein größerer Flaschenhals als gedacht. Leider ist der T310 mit seinem Sockel 1156-Lynnfield und 6x RAM-Slots für 1RX8-Reg.-ECC-RAMs ne extreme Zicke, daher habe ich noch keine SSDs als Upgrade besorgt.

Der nächste Versuch wird anders. Mein aktueller LAN-PC besteht aus einem 11700 ohne-K, Z590 Hero, 980Ti und 64GB RAM. Dort sollen die drei VMs (LanCache, piHole und einen Opnsense als DHCP) dann im Hintergrund laufen. Unsere LAN-Spiel-Aktivitäten sind sowieso alt genug, das der 8-Kerner genügend Last-Zeit haben sollte.

 

[Ceiber3]

Für alle die eine SMB Freigabe mounten und nicht mit NFS. Ohne noperm als Option kommt beim Cache Ordner in den Logs: (13: Permission denied) while reading upstream,

mount -t cifs -o noperm,username=Username,password=Passwort //192.168.***.***/Freigabeordner /mnt/lancache/

Perfomance ist Top mit SMB.

 

[besterino]

Ich meine, ich hätte das mit einem stumpfen chmod 777 aufm Share gelöst…

 

[Ceiber3]

Laut tutorial hast du aber NFS genutzt und andere Foren schreiben ISCSI, bei mir hatte das chmod auf der Synology nichts gebracht über SMB.

 

[sch4kal]

Ich hol das mal hoch. Haben auf der nächsten LAN den Cache am Laufen als Containersetup auf nem Dual Xeon 4110 Server mit 256GB RAM und 3x Samsung 860 SSD im ZFS Stripe unter Debian 12. Das Prefill bis zur max size hat wunderbar mit Maxspeed geklappt und wenn die Spiele vom Cache kommen gehst auch richtig schnell. Nur wenn er anfängt, neue Titel aufzunehmen und alte Titel rauszuwerfen wirds richtig langsam bis runter auf 1MB/s oder weniger. Hatte das noch jemand beobachten können ? Ich checke nachher mal das ZFS Dateisystem ob da was nicht stimmt. Das Netz ist nicht das Problem oder die Internetverbindung.

 

[Liesel Weppen]

LanCache lief die letzten Jahre auf unseren LAN-Parties jeweils in einer Debian-VM ganz normal mit Ext4, zunächst auf einem Xeon E3-1225v3 (32GB RAM, davon 16 für den Cache), die letzten beiden Jahre auf einem NUC (i5-1135G7, 64GB RAM, davon 32GB für den Cache). Festplatten von Anfangs sogar noch HDDs bis zuletzt auf 2TB SATA-SSD. Aber die zugewiesenen 500GB Speicherplatz haben wir auf der LAN nie vollgekriegt.

Dieses Jahr hab ich mir den Aufwand sogar ganz gespart, das Steam-eigene P2P-Sharing funktioniert sogar noch besser. Cached aber für einen permanenten Einsatz natürlich kein Epic, Battle.net und Co, sowie auch keine Windowsupdates.

 

[sch4kal]

Ja gut wir mussten prefillen weil vor Ort nur lahmes LTE Internet verfügbar ist. Da haben wir jetzt halt mal viel von Steam, Uplay usw. runtergeladen. Verhält sich das bei niemandem so ? Oder hat das nur noch keiner ausprobiert weil der Speicher dafür nie voll wurde ?

 

[Liesel Weppen]

Wie gesagt, zumindest Steam kann mittlerweile P2P-Sharing (in den Download-Einstellungen einstellen, das P2P mit jedem erlaubt ist, statt nur unter Freunden oder sogar nur mit eigenem Account). Da musst also nix mehr im LanCache prefillen, sondern es reicht, wenn einfach nur irgendeiner das Spiel auf seinem Rechner installiert hat. Kannst also sogar auf diverse Teilnehmer verteilen.

Ich habs noch nicht konkret ausprobiert, da wie schon gesagt der Speicher bei uns noch nie voll wurde. Laut LanCache-Beschreibung werden die ältesten Sachen aber rausgeworfen, sobald der Platz voll ist und neues Zeug geladen wird. Kann mir kaum vorstellen das LanCache selbst da ein Problem hat. Könnte mir aber durchaus vorstellen, das das Dateisystem da dazwischen grätscht.

Aber gerade wenn ihr Prefill macht, bringt das ja eh nix, wenn dann die ältesten Daten wieder rausfliegen. Dann ist voll ja sowieso voll. Also gerade für Prefill besser auch vorher den kompletten Cache leeren.

Für LanCache ist übrigens jeder Download einzigartig. Das heisst, ein voller Spieledownload bringt dir auch nur dann was, wenn jemand auch wirklich das komplette Spiel lädt. Wenn jemand nur ein Update für ein Spiel lädt, landet dieses Update als neuer Download im Cache, das evtl. im Cache vorhandene komplette Spiel bringt dann gar nichts.
Da kann ich jetzt aber leider auch nicht sagen, wie sich da Steam-P2P verhält...

Vielleicht reicht der Platz aber ja schon, wenn ihr für die Steam-Spiele P2P nutzt und diese somit nicht imLanCache braucht.

 

[Ceiber3]

Ich hol das mal hoch. Haben auf der nächsten LAN den Cache am Laufen als Containersetup auf nem Dual Xeon 4110 Server mit 256GB RAM und 3x Samsung 860 SSD im ZFS Stripe unter Debian 12. Das Prefill bis zur max size hat wunderbar mit Maxspeed geklappt und wenn die Spiele vom Cache kommen gehst auch richtig schnell. Nur wenn er anfängt, neue Titel aufzunehmen und alte Titel rauszuwerfen wirds richtig langsam bis runter auf 1MB/s oder weniger. Hatte das noch jemand beobachten können ? Ich checke nachher mal das ZFS Dateisystem ob da was nicht stimmt. Das Netz ist nicht das Problem oder die Internetverbindung.

Ich hatte das Problem auch, das war auch der Grund warum ich Lan Cache komplett verworfen habe. Ich musste aber auch erstmal drauf kommen, war nur verwundert das Downloads auf einmal viel viel langsamer warn und bei Steam und Battlenet war es am schlimmsten. Cache rausgehauen, vollspeed.