So, habe es jetzt endlich herausgefunden, warum es nicht geht.
Ich hatte immer erst die Quelle am laufen gehabt und dann erst das Kabel gesteckt, das geht nicht.
Wenn ich also alles erst zusammen stecke und dann den RaspberryPi einschalte / mit Strom versorge, dann geht es.
Puhhh, und ich dachte...