SAS Platten werden nicht erkannt

[wit4r7]

Hallo,

ich habe mir gerade einen neuen Server gekauft und auch erfolgreich eingerichtet. Bzgl. der Specs siehe Signatur.

Die SSDs die direkt über SATA angesteckt sind, erkennt der Server sofort. Allerdings habe ich noch gewisse Schwierigkeiten mit meinen SAS Platten. Ich hatte vorher auch noch nie SAS Platten und benötige hier noch etwas (nach)Hilfe.

Mein Mainboard hat sowohl über den Chip als auch über einen LSI-3008 die Möglichkeit über einen SFF-8643 SAS Platten anzuschließen. Das Gehäuse hat Backplanes mit SFF-8087 Anschlüssen, welcher meiner Recherche nach kompatibel sind (entsprechende Kabel habe ich hier).

Auf dem Mainboard ist der Jumper per default auf Enable gesetzt allerdings leuchtet die SASLED nicht. Auch in im BIOS bzw. in Proxmox finde ich keine SAS Platten.
Aktuell laufen meine 6 SAS Platten über den Chip, da ich den LSI-3008 nicht als Raidcontroller nutzen möchte und ihn ggf. noch flashen muss. Aber das ist eine andere Baustelle (denke ich).

Am Gehäuse leuchten die entsprechenden Status LEDs der HDDs aber auf.

Folgende Ausgaben erhalte ich per Konsole:

root@pve:~# fdisk -l
Disk /dev/sda: 223.6 GiB, 240057409536 bytes, 468862128 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 3EF46A89-F857-4BA7-92D3-D74CB84F34FB

Device         Start       End   Sectors   Size Type
/dev/sda1         34      2047      2014  1007K BIOS boot
/dev/sda2       2048 468845709 468843662 223.6G Solaris /usr & Apple ZFS
/dev/sda9  468845710 468862094     16385     8M Solaris reserved 1

Partition 1 does not start on physical sector boundary.
Partition 9 does not start on physical sector boundary.


Disk /dev/sdb: 223.6 GiB, 240057409536 bytes, 468862128 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: D3F38B36-D5B2-43CE-ADBA-DC13A94126C8

Device         Start       End   Sectors   Size Type
/dev/sdb1         34      2047      2014  1007K BIOS boot
/dev/sdb2       2048 468845709 468843662 223.6G Solaris /usr & Apple ZFS
/dev/sdb9  468845710 468862094     16385     8M Solaris reserved 1

Partition 1 does not start on physical sector boundary.
Partition 9 does not start on physical sector boundary.


Disk /dev/sdc: 894.3 GiB, 960197124096 bytes, 1875385008 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 8259A534-D4E7-E345-B391-70EA78CDEFE5

Device          Start        End    Sectors   Size Type
/dev/sdc1        2048 1875367935 1875365888 894.3G Solaris /usr & Apple ZFS
/dev/sdc9  1875367936 1875384319      16384     8M Solaris reserved 1


Disk /dev/zd0: 8 GiB, 8589934592 bytes, 16777216 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

root@pve:~# ls /dev
autofs         cpu_dma_latency  gpiochip0  i2c-0    kvm       loop6             network_latency     ptp0    sda1  sdc9      stdout  tty15  tty23  tty31  tty4   tty48  tty56  tty7       ttyS13  ttyS21  ttyS3   uhid     vcs4   vcsa6        zero
block          cuse             hidraw0    i2c-1    lightnvm  loop7             network_throughput  ptp1    sda2  sg0       tty     tty16  tty24  tty32  tty40  tty49  tty57  tty8       ttyS14  ttyS22  ttyS30  uinput   vcs5   vfio         zfs
bsg            disk             hidraw1    i2c-2    log       loop-control      null                pts     sda9  sg1       tty0    tty17  tty25  tty33  tty41  tty5   tty58  tty9       ttyS15  ttyS23  ttyS31  urandom  vcs6   vga_arbiter  zvol
btrfs-control  dri              hidraw2    i2c-3    loop0     mapper            port                random  sdb   sg2       tty1    tty18  tty26  tty34  tty42  tty50  tty59  ttyprintk  ttyS16  ttyS24  ttyS4   usb      vcsa   vhci
bus            ecryptfs         hidraw3    i2c-4    loop1     mcelog            ppp                 rfkill  sdb1  shm       tty10   tty19  tty27  tty35  tty43  tty51  tty6   ttyS0      ttyS17  ttyS25  ttyS5   userio   vcsa1  vhost-net
char           fb0              hidraw4    initctl  loop2     mem               pps0                rpool   sdb2  snapshot  tty11   tty2   tty28  tty36  tty44  tty52  tty60  ttyS1      ttyS18  ttyS26  ttyS6   vcs      vcsa2  vhost-vsock
console        fd               hpet       input    loop3     memory_bandwidth  pps1                rtc     sdb9  snd       tty12   tty20  tty29  tty37  tty45  tty53  tty61  ttyS10     ttyS19  ttyS27  ttyS7   vcs1     vcsa3  watchdog
core           full             hugepages  ipmi0    loop4     mqueue            psaux               rtc0    sdc   stderr    tty13   tty21  tty3   tty38  tty46  tty54  tty62  ttyS11     ttyS2   ttyS28  ttyS8   vcs2     vcsa4  watchdog0
cpu            fuse             hwrng      kmsg     loop5     net               ptmx                sda     sdc1  stdin     tty14   tty22  tty30  tty39  tty47  tty55  tty63  ttyS12     ttyS20  ttyS29  ttyS9   vcs3     vcsa5  zd0
root@pve:~#

root@pve:~# grep -H . /sys/block/sd*/device/model
/sys/block/sda/device/model:INTEL SSDSC2KB24
/sys/block/sdb/device/model:INTEL SSDSC2KB24
/sys/block/sdc/device/model:INTEL SSDSC2KB96

Vielen Dank schon Mal!

wit4r7

 

[Trambahner]

Ui, ein H11SSL-NC.
Hättest Du eine Chance, die Idle-Leistungsaufnahme zu messen wieviel der Server da zieht? Idealerweise ohne die HDDs in Betrieb. Das wäre super.

 

[wit4r7]

Ui, ein H11SSL-NC.
Hättest Du eine Chance, die Idle-Leistungsaufnahme zu messen wieviel der Server da zieht? Idealerweise ohne die HDDs in Betrieb. Das wäre super.

Wieso ist das so besonders?
Ja kann ich die Tage mal machen, wenn er einigermaßen eingerichtet ist.

-------------------------------------------------------------------------

Habe auch gerade das Problem mit den Platten gelöst. Wenn der LSI mit angeschlossen war,0 hat der das SAS Modul nicht geladen sondern hat direkt gebootet. Hab jetzt allerdings nur 8 von 16 3,5". Muss ich mir in Ruhe nochmal anschauen, aber fürs erste gehts.

 

[Eye-Q]

Mein Mainboard hat sowohl über den Chip als auch über einen LSI-3008 die Möglichkeit über einen SFF-8643 SAS Platten anzuschließen.

Laut der Hersteller-Seite sind die einzigen SAS-Anschlüsse die vom LSI/Broadcom 3008. Es gibt zwei Anschlüsse, da jeder SFF-8654-Anschluss vier SAS-Ports beinhaltet. Oder hast Du noch eine separate Steckkarte mit 3008-Controller?

Das Gehäuse hat Backplanes mit SFF-8087 Anschlüssen, welcher meiner Recherche nach kompatibel sind (entsprechende Kabel habe ich hier).

Wenn die Backplane nur SATA könnte, gäbe es im kombinierten Strom- und Datenanschluss eine Nase, die verhindert, dass SAS-Platten eingeschoben werden können, also sollten die kompatibel sein, ja.

Aktuell laufen meine 6 SAS Platten über den Chip

Wenn Du mit "über den Chip" meinst, dass die Backplane über die beiden SAS-Kabel am Mainboard angeschlossen ist, dann müsste beim Start das BIOS des Onboard RAID-Controllers geladen werden. Falls nicht, kann es sein, dass der Onboard RAID-Controller im BIOS/UEFI des Mainboards deaktiviert ist, aus welchen Gründen auch immer.

[edit]
Ah, da Du schreibst "wenn der LSI mit angeschlossen war", daraus schließe ich, dass Du tatsächlich noch eine separate Steckkarte hast, was Du leider im Eröffnungspost wenn überhaupt dann zumindest nur versteckt erwähnt hast, da das Mainboard ja auch einen 3008-Controller Onboard hat...
[/edit]

 

[Trambahner]

Des is super, danke schonmal vorab. Keine Eile.

Für Homelab halt relativ selten noch im Einsatz, im Gegensatz zu Microservern, Supermicro X11 oder T20/T30. Reviews sind auch Mangelware bis dato; kenne da nur eines und dementsprechend ist ein Verify der Daten dort interessant.
Ich hab auch schonmal überlegt, insofern interessieren mich natürlich die Leistungsaufnahmen. In besagtem Review werden 120W im Leerlauf beschrieben.

Ich würde AMD nämlich durchaus gerne eine Chance bei der nächsten Investition geben und das Preis-/Leistungsverhältnis des H11SSL-NC als Basis finde ich ziemlich gut und halt auch sehr ausbaufähig da viele I/O PCIE-Lanes und bis zu 32C. Aber 120W Idle im Homelab fände ich sehr heftig.

 

[wit4r7]

Laut der Hersteller-Seite sind die einzigen SAS-Anschlüsse die vom LSI/Broadcom 3008. Es gibt zwei Anschlüsse, da jeder SFF-8654-Anschluss vier SAS-Ports beinhaltet. Oder hast Du noch eine separate Steckkarte mit 3008-Controller?


Wenn die Backplane nur SATA könnte, gäbe es im kombinierten Strom- und Datenanschluss eine Nase, die verhindert, dass SAS-Platten eingeschoben werden können, also sollten die kompatibel sein, ja.


Wenn Du mit "über den Chip" meinst, dass die Backplane über die beiden SAS-Kabel am Mainboard angeschlossen ist, dann müsste beim Start das BIOS des Onboard RAID-Controllers geladen werden. Falls nicht, kann es sein, dass der Onboard RAID-Controller im BIOS/UEFI des Mainboards deaktiviert ist, aus welchen Gründen auch immer.

[edit]
Ah, da Du schreibst "wenn der LSI mit angeschlossen war", daraus schließe ich, dass Du tatsächlich noch eine separate Steckkarte hast, was Du leider im Eröffnungspost wenn überhaupt dann zumindest nur versteckt erwähnt hast, da das Mainboard ja auch einen 3008-Controller Onboard hat...
[/edit]

Hey,

das Supermicro hat den 3008 onbord, also nicht separat. Sorry für das ungenaue ausdrücken. Mit nicht angesteckt meinte ich das kein Kabel eingesteckt war.

Das Board hat insgesamt 4 SFF-8643 Anschlüsse. 2 links neben (schwarz) der Southbridge und 2 darunter (weiß/grau).
On-Board Devices: SAS
Broadcom 3008 SAS3 (12 Gbps) controller
RAID 0, 1, 10

Input / Output
SAS
8 SAS3 (12 Gbps) ports

SATA
8 SATA3 (6 Gbps) ports

Kann man hier ganz gut sehen: Supermicro H11SSL-NC Server Motherboard Review

Die Backplanes sind SAS.


wit4r7

- - - Updated - - -

Des is super, danke schonmal vorab. Keine Eile.

Für Homelab halt relativ selten noch im Einsatz, im Gegensatz zu Microservern, Supermicro X11 oder T20/T30. Reviews sind auch Mangelware bis dato; kenne da nur eines und dementsprechend ist ein Verify der Daten dort interessant.
Ich hab auch schonmal überlegt, insofern interessieren mich natürlich die Leistungsaufnahmen. In besagtem Review werden 120W im Leerlauf beschrieben.

Also ich hab das gerade mal "schnell" über so eine Stromsteckdose mit Display ausprobiert. Diese zeigt im idl zwischen 65 - 90W an. Allerdings waren noch 3 SSDs drinne, die habe ich jetzt nicht extra ausgebaut.

Ansonsten das System aus meiner Signatur. Als Netzteil ist ein 750 Watt Seasonic FOCUS Plus Modular 80+ Platinum eingebaut. Und 5 Lüfter liefen auf max Speed. (3x140 & 2x80). Die Backplanes waren auch noch aufgesteckt, aber keine HDDs eingesteckt.

Als System lief Proxmox, aber noch ohne eine VM. Ist noch ein komplett neu installiertes System ohne irgendwelche Anpassungen. Werde die Ergebnisse nochmal verifizieren, wenn die USV aufgebaut & mit angeschlossen ist.

VG wit4r7

 

[Eye-Q]

das Supermicro hat den 3008 onbord, also nicht separat. Sorry für das ungenaue ausdrücken. Mit nicht angesteckt meinte ich das kein Kabel eingesteckt war.

Das Board hat insgesamt 4 SFF-8643 Anschlüsse. 2 links neben (schwarz) der Southbridge und 2 darunter (weiß/grau).
On-Board Devices: SAS
Broadcom 3008 SAS3 (12 Gbps) controller
RAID 0, 1, 10

Input / Output
SAS
8 SAS3 (12 Gbps) ports

SATA
8 SATA3 (6 Gbps) ports

Kann man hier ganz gut sehen: Supermicro H11SSL-NC Server Motherboard Review

Die weiß/grauen SFF-8654-Anschlüsse sind NVMe-Anschlüsse, keine SAS-Anschlüsse, deswegen werden die SAS-HDDs nicht erkannt, wenn Du die mit diesen Anschlüssen verbindest. Das steht ja auch so im von dir verlinkten Review:

The two white connectors are basically NVMe connectors, while the two black ones we will cover later are mini-SAS HD headers. On the H11SSL-i you will get eight more SATA ports instead of NVMe ports (through a breakout cable of SAS to 4x SATA).

Also wirst Du keine 16 SAS-Platten direkt angeschlossen bekommen, Du brauchst entweder einen SAS-Extender oder einen separaten SAS-Controller, mit dem Du weitere SAS-HDDs anbindest.

 

[wit4r7]

Die weiß/grauen SFF-8654-Anschlüsse sind NVMe-Anschlüsse, keine SAS-Anschlüsse, deswegen werden die SAS-HDDs nicht erkannt, wenn Du die mit diesen Anschlüssen verbindest. Das steht ja auch so im von dir verlinkten Review:



Also wirst Du keine 16 SAS-Platten direkt angeschlossen bekommen, Du brauchst entweder einen SAS-Extender oder einen separaten SAS-Controller, mit dem Du weitere SAS-HDDs anbindest.

AH Vielen Dank für die Info. Da liegt mein Fehler. Ich komme erstmal mit 8 Platten hin

vg wit4r7

 

[wit4r7]

Ich habe doch noch ein Problem mit den SAS Platten.

Eine der 4 TB Seagate Platten wird zwar erkannt, wird mir im LSI aber mir 0.0 GiB angezeigt.

Die HDD in einen anderen Slot zu packen, habe ich schon probiert und bringt keine Besserung. Irgendwelche Ideen oder muss ich die Platte tauschen lassen?