Werbung
Der Einstieg in die AI-Welt setzt nicht zwangsläufig leistungsstarke Hardware voraus. Die Zeiten, die Berechnungen auf dem Prozessor des Heim-PC ablaufen zu lassen, sind allerdings auch vorbei. Mit dem Neural Compute Stick (NCS) bietet Intel günstige Einsteigerhardware in Form eines USB-Sticks.
Der NCS der ersten Generation verwendet eine Vision Processing Unit (VPU) von Movidius. Im Falle des ersten NCS war dies der Myriad 2, der bei einer Leistungsaufnahme von 1 W bis zu 100 GFLOPS erreichen soll. Nun stellt Intel den Neural Compute Stick 2 (NCS 2) vor.
Dieser verwendet den Movidius Myriad X. Der Chip wird in 16 nm bei TSMC gefertigt. Dass Intel den Chip nicht selbst fertigt, liegt daran, dass dessen Entwicklung bei Movidius bereits begonnen hatte, bevor Intel das Unternehmen gekauft hat. Die höhere Rechenleistung erreicht Intel durch 16 anstatt 12 Shave-Recheneinheiten (Streaming Hybrid Architecture Vector Engine). Jede einzelne dieser Einheiten bietet nun zudem 2,5 anstatt 2,0 MB an Cache und eine Bandbreite von 450 anstatt 400 GB/s. Vorgesehen sind die Shave-Einheiten für Very Long Instruction Words (VLIW) mit 128 Bit.
Mit der verbesserten Hardware will Intel die Rechenleistung um den Faktor acht gesteigert haben. Allerdings muss dazu die Datengröße der zu Grunde liegenden Berechnungen bekannt sein. Der Myriad X ist auf FP16- und INT8-Berechnungen ausgelegt. Für INT8 gibt Intel eine Rechenleistung von 1 TOPS an, spricht an anderer Stelle aber auch von 4 TOPS. Die FP16-Rechenleistung kennen wir derzeit nicht, sie dürfte sich jedoch bei etwa 800 GLOPS bewegen. Zum Vergleich: Eine Tesla V100 auf Basis der V100-GPU erreicht 120 TFLOPS, also das Vielfache dieser Leistung, verbraucht allerdings auch 300 W. Die neue Turing-Architektur mit Tesor Cores kommt sogar auf 225 TOPS für INT8- und 450 TOPS für INT4-Berechnungen.
Das Einsatzgebiet des Intel NCS2 ist weniger das Datacenter oder hochperformante Systeme, sondern eher der Einsteigerbereich zum Kennenlernen der Methodik und das Heranführen von Entwicklern. Über die OpenVINO-Entwicklungsumgebung soll es Entwicklern leichter gemacht werden, mit der dazugehörigen Hard- und Software in Kontakt zu kommen.
Der Intel NCS2 soll in Kürze in den wichtigsten Märkten verfügbar sein und wird 99 US-Dollar kosten. Wie hoch der Preis in Deutschland sein wird, ist derzeit nicht bekannt.
Beispiele zum Einsatz des Intel NCS2
Viele dürften sich die Frage stellen, wie der Zugang zu solcher Hardware ermöglicht wird bzw. für wen diese überhaupt interessant ist. Wir haben in diesem Zusammenhang mit Christian Haschek gesprochen, der bereits die NCS der ersten Generation eingesetzt hat.
Zum Einsatz des NCS ist er gekommen, da er aus verschiedensten Hobby-Projekten heraus Interesse am Machine Learning entwickelt hat. Als PC-Spieler war die notwenige Hardware zwar grundsätzlich vorhanden, die Projekte sollten allerdings derart ausgelegt werden, dass sie unabhängig von einem Desktop-PC sind und zudem stellt die Leistungsaufnahme eines kompletten Rechners ein Problem dar. Hinzu kommt, dass ein Machine Learning oder auch Deep Learning aus zwei unterschiedlichen Bereichen besteht. So gibt es das Training eines Netzwerks, für das noch immer sehr leistungsstarke Hardware notwendig ist. Die eigentliche Auswertung eines solchen Netzwerks wird als Inferencing bezeichnet. NVIDIAs Tesla GPU-Beschleuniger sind vor allem für das Training ausgelegt. Inzwischen gibt es aber auch kleinere Ausbaustufen, die für das Inferencing optimiert sind.
Intels NCS ist eine Inferencing-Hardware – kann also nicht für das Training eines Netzwerks eingesetzt werden, sondern ist für das Inferencing vorgesehen. Eben hier spielen die 800 GFLOPS bei einer Leistungsaufnahme von 1 W eine wichtige Rolle.
Ein konkretes Beispiel ist die Erkennung von Kinderpornografie in Bilddatenbanken. Haschek hatte eine Open-Source-Bilddatenbank entwickelt, um eigenen Bilder online zu hosten. Schnell wurde ihm aber klar, dass in solchen Systemen auch illegale Bilder landen, die Kinderpornografie abbilden.
Um diese zu erkennen, verwendet Haschek ein von Yahoo bereits trainiertes Netzwerk, welches über die Entwicklungsumgebung des NCS verwendet werden kann. An Hardware setzte er auf drei Raspberry Pies und zwei NCS der ersten Generation. Die Leistungsaufnahme des gesamten Systems liegt bei unter 10 W.
Letztendlich konnten unter tausenden Fotos auch solche mit illegalem Inhalt gefunden werden. Haschek bietet ein Web-Interface an, über das sich Bilder prüfen lassen. Der Aufbau eines eigenen Systems zur Erkennung ist natürlich ebenfalls möglich und soll dank des Einsatzes der NCS einfach und billig sein.
Die Bilderkennung ist ein sehr prominentes Beispiel für die Anwendung der NCS. Ein weiteres Anwendungsbeispiel wäre die Erkennung von Personen auf Überwachungskameras. Problem hier ist häufig, dass die Auswertung nicht lokal stattfindet, sondern in der Cloud auf fremden Servern durchgeführt wird. Dies ist natürlich kritisch, wenn wir darüber reden, Bilder einer Überwachungskamera zu übertragen. Es geht also darum, sensible Daten lokal zu analysieren und eine gewisse Datensparsamkeit an den Tag zu legen. Auch hierzu soll der Einsatz von Intels NCS beitragen.
Weitere Projekte von Christian Haschek sind auf dessen Blog zu finden.