NFS (und SMB) sind Datei-Sharing Verfahren mit denen ein Server seinen Speicher über das Netzwerk für mehrere Benutzer gleichzeitig zur Verfügung stellen kann. Welches Dateisystem dabei der Server nutzt (ntfs, ext4, HFS oder ZFS) ist dabei unerheblich. Aus Sicht eines beliebigen SMB/NFS Clients erscheint so ein Share wie ein normaler Dateiordner. Die Möglichkeiten, Einschränkungen eines Share z.B. im Vergleich zu einem Share das ein Windows Server selbst bereitstellt sind abhängig von der SMB/NFS Serversoftware (z.B. Windows SMB Server, SAMBA als SMB Server oder der Solaris eigene ZFS/Kernel-SMB Server). Macht man ZFS Snaps so kann man aus dem Snap einzelne Dateien wiederherstellen (Windows vorherige Version oder aus Ordner dateisystem/.zfs/snapshots)
iSCSI nutzt man dann, wenn man eigentlich weitere lokale Festplatten haben möchte oder wegen einer besonderen Applikation muss die mit dem lokalen Windows Dateisystem z.B. ntfs formatiert werden. Ein iSCSI Server stellet dazu echte Festplatten oder Teile des Serverstorages wie eine Festplatte bereit. Nachdem die in Windows im iSCSI Initiator angemeldet wurde, ist sie aus Windows Sicht eine lokale Festplatte.
Der Vorteil von iSCSI mit ZFS (man könnte ja auch einfach eine weitere lokale Festplatte kaufen) sind Extras wie die einfache Administration wie die Möglichkeit diese Festplatte woanders anzumelden, man kann die Größe flexibel ändern, zentral sichern (per ZFS Replikation auch mit offenen Dateien), hat Versionierung, Bitrot- und Prüfsummenschutz sowie bessere Sicherheit beim Absturz (CopyOnWrite, schnelles sicheres Sync-Write).
Wenn man beides aus ESXi Sicht betrachtet, so bietet ein NFS Share einen Ablageordner für virtuellen Platten von ESXi (vmdk) und sonstige Konfigurationsdateien. Per VM wird dabei ein einfacher Ordner mit den notwendigen Dateien darin angelegt. Das bietet eine extrem einfache Art VMs zu sichern, zu klonen oder wiederherzustellen (ins Inventory aufnehmen: per Maus-Rechtsklick auf die .vmx Datei). NFS unterstützt Thin provision und man kann direkt auf diese Dateien Zugreifen, auch von anderen Clients oder per SMB und hat damit Windows "vorherige Version" für ESXi VMs.
Ein iSCSI Target wird in ESXi wie eine lokale Festplatte mit vmfs formatiert und genutzt. Zugriff hat exklusiv ESXi (keine allgemeines Multiuser-Sharing). Lediglich ESXi hat Zugriff auf die Dateien. Snapshots auf VM/Dateiebene kann man nur als ESXi Snapshot wiederherstellen. ZFS Snapshots decken nur die Platte als Ganzes ab und man kann auch nur die ganze Platte aus einem ZFS Snap wiederherstellen (rollback, clone, replikation).
Thin Provisioning geht mit ESXi auf NFS und lokalem vmfs storage. iSCSI kann seler auch unabhängig von einem Client die Targets thin provisioned bereitstellen (LUNs haben wzar wie eine Fetsplatte eine Größe nutzen aber zunächst nur den belegten Platz)