4K Videoschnitt, Foto- und Zeitraffer Bearbeitung direkt vom NAS via 10 GB Ethernet

Heu­te erfahrt ihr, wie ich mein bestehen­des Heim­netz­werk auf 10 GBit auf­ge­rüs­tet habe, wel­ches NAS ich ver­wen­de und wie ich es erreicht habe, dass ich nun Vide­os, Fotos und Zeit­raf­fer ohne umzu­ko­pie­ren direkt vom NAS  über das Netz­werk bear­bei­ten kann.

Bei der Foto­gra­fie, dem Video­fil­men und erst recht der Zeit­raf­fer-Foto­gra­fie fal­len gro­ße Daten­men­gen an. Die­se wol­len nicht nur archi­viert wer­den, son­dern sol­len dar­über hin­aus auch für die spä­te­re Bear­bei­tung zur Ver­fü­gung stehen.

Grund­sätz­lich gilt eigent­lich bei der Daten­ar­chi­vie­rung die alte Regel: Ent­we­der güns­tig, groß und lang­sam oder aber teu­er, klein und schnell. Ein Bei­spiel dafür sind Fest­plat­ten vs. SSDs: Fest­plat­ten sind pro Ter­ra­byte deut­lich güns­ti­ger als SSDs, dafür aber auch langsamer.

In der Ver­gan­gen­heit habe ich daher für die Bear­bei­tung die Daten von mei­nem NAS, das im Kel­ler steht und über ein Ether­net Netz­werk ange­schlos­sen ist (sei­ner­zeit eher lang­sam mit 1 GBit) zunächst auf schnel­le, loka­le SSDs umko­piert, dann damit gear­bei­tet und sie, wenn ich sie modi­fi­ziert hat­te, ggf. wie­der zurück­ge­spielt. Ein umständ­li­cher, zeit­auf­wän­di­ger und feh­ler­an­fäl­li­ger Pro­zess, da man mit dop­pel­ten Daten arbei­tet und sehr auf­pas­sen muss, dass man beim hin- und her­ko­pie­ren nicht unbe­wusst wich­ti­ge Ände­run­gen überschreibt.

Wie schön wäre es, qua­si in Echt­zeit auf die Daten auf mei­nem NAS zugrei­fen und dort direkt schnei­den und bear­bei­ten zu kön­nen. Dazu reich­te die Geschwin­dig­keit mei­nes alten Set­ups aber lei­der nicht aus.

Da nun mein altes NAS bereits mit 6 Fest­plat­ten voll­be­stückt war und droh­te voll­zu­lau­fen, ent­schied ich, ein neu­es anzu­schaf­fen und dabei auch eini­ge zusätz­li­che Ände­run­gen an mei­ner Kon­fi­gu­ra­ti­on vor­zu­neh­men, um mein Ziel zu erreichen.

Über das The­ma hat­te ich schon kurz im Foto­schnack berich­tet und ver­spro­chen, einen Arti­kel dazu zu schrei­ben. Damit hat etwas gedau­ert, da mich aber eini­ge von euch ange­schrie­ben und sich dafür inter­es­siert haben, ist es jetzt soweit! :-)

Heu­te gebe ich euch einen Über­blick über mein neu­es Set­up, viel­leicht hilft es dem einen oder ande­ren von euch, bei eige­nen Ent­schei­dun­gen in die­sem Umfeld.

Auf viel­fa­che Nach­fra­ge: das hier ist der Ser­ver­schrank, den ich verwende.

Mein neues NAS

Beim NAS habe ich mich für das QNAP TS-873 für maxi­mal 8 Fest­plat­ten ent­schei­den und die­ses zunächst mit 5 Stück 14 TB Plat­ten bestückt.

Zunächst hat­te ich das QNAP TS-873U bestellt, die Vari­an­te zum Rack-Ein­bau. Lei­der ist jedoch das NAS in die­ser Vari­an­te mit 53,4 cm so tief, dass es noch nicht ein­mal annä­hernd in mein Rack passt. Also habe ich es durch die Stand-Ver­si­on QNAP TS-873 ersetzt, die noch dazu deut­lich güns­ti­ger ist, auch wenn hier die 10 GBit Kon­nek­ti­vi­tät noch nach­ge­rüs­tet wer­den muss, dazu aber wei­ter unten mehr.

Die 14 TB Plat­ten sind der­zeit recht teu­er, aber sie ermög­li­chen es mir mit mög­lichst wenig Plat­ten eine mög­lichst gro­ße Kapa­zi­tät zu errei­chen. Somit blei­ben noch 3 Ein­schü­be frei für wei­te­re 14 TB Platten.

• NAS: QNAP TS-873
• Fest­plat­ten: Ich habe Sea­gate Iron­wolf Pro 14 TB Plat­ten ver­wen­det, aber natür­lich gehen auch klei­ne­re (Kom­pa­ti­bi­li­täts­lis­te von QNAP). Ich emp­feh­le euch, aus Per­for­mance­grün­den Plat­ten mit 7.200 UPM zu verwenden.

Hin­ter­grund für die­se Über­le­gung, auf weni­ger, mög­lichst gro­ße Plat­ten zu set­zen ist, dass man idea­ler­wei­se gleich­gro­ße Plat­ten in einem NAS bestü­cken soll­te. Soll­te das NAS irgend­wann voll bestückt sein, müs­sen i.d.R. alle Plat­ten aus­ge­wech­selt wer­den, um eine nen­nens­wert höhe­re Kapa­zi­tät zu erzie­len. Das ist nicht nur teu­er, son­dern auch zeit­auf­wän­dig, da der Rebuild einer ein­zel­nen Plat­te nach dem Ein­ste­cken bereits meh­re­re Tage dau­ern kann. Nach­hal­ti­ger ist es daher, mit weni­gen gro­ßen Plat­ten zu star­ten und so Luft für spä­te­res Auf­rüs­ten zu haben. So kann man dann ein­zel­ne Plat­ten am Ende ihrer Lebens­dau­er durch neue (ggf. auch grö­ße­re) ersetzen.

In das NAS habe ich zum Cachen der Lese- und Schreib­zu­grif­fe noch 2 Stück 2 TB Sam­sung NVM SSDs ein­ge­baut (optio­nal aber emp­foh­len!). Die SSDs habe ich als Raid 1 kon­fi­gu­riert (also gespie­gelt, die Spie­ge­lung ist defi­ni­tiv wich­tig, wenn ihr mit einem SSD Cache arbei­ten wollt, um gra­vie­ren­de Daten­ver­lus­te beim etwa­igen Aus­fall einer die­ser SSDs zu ver­mei­den). Gene­rell könn­te man hier auch 1 TB SSDs ver­wen­den, dann ist der Cache aber natür­lich klei­ner dimen­sio­niert. Inwie­fern man das merkt, hängt natür­lich vom Anwen­dungs­fall ab. Ich dach­te mir, für die gro­ßen Video­da­tei­en ist ein grö­ße­rer Cache mög­li­cher­wei­se sinn­voll – einen direk­ten Ver­gleich konn­te ich aber nicht anstellen.

Zu beach­ten ist, dass in dem QNAP NAS aus­schließ­lich M.2 SSDs mit SATA Schnitt­stel­le (nicht PCIe) ver­wen­det wer­den kön­nen, bit­te checkt die Kom­pa­ti­bi­li­täts­lis­te auf der QNAP Sei­te, falls ihr ande­re, als die hier ver­link­ten ein­set­zen wollt.

Das Ein­rich­ten des Caches hat zu einem deut­lich schnel­le­ren Zugriff auf das NAS geführt, der nun nur noch durch das Netz­werk aus­ge­bremst wur­de. Bei einem 1GBit Netz­werk sind maxi­ma­le Trans­fer­ra­ten von 100 MB/Sekunde möglich.

Daher woll­te ich nun auch mein Netz­werk, über das das NAS ja mit den Com­pu­tern ver­bun­den sind, von 1 GBit auf 10 GBit erweitern.

Anmer­kung: Es gibt Berich­te bei You­tube, in denen behaup­tet wird, die Caching SSDs wür­den in kür­zes­ter Zeit durch die Dau­er­be­las­tung ihre Lebens­zeit errei­chen, ihre Anschaf­fung wür­de sich daher nicht loh­nen. Ich kann nur berich­ten, dass bei mir nach einer Betriebs­zeit von über 3 Mona­ten nun im Dau­er­lauf (das NAS läuft bei mir 24/7) die Lebens­dau­er der SSDs noch bei 99 % ange­zeigt wird. Ich hal­te euch dies­be­züg­lich ger­ne auf dem Lau­fen­den, glau­be aber, dass es vie­le Jah­re dau­ern wird, bis die­se ersetzt wer­den müs­sen und die dann defi­ni­tiv ihren Zweck erfüllt haben, denn der Zugriff ist in den aller­meis­ten Fäl­len deut­lich schneller.

Das Netzwerk

Da ich unse­re Netz­werk­ver­ka­be­lung im Zuge von Reno­vie­rungs­ar­bei­ten in den letz­ten Jah­ren bereits auf Cat 6a auf­ge­rüs­tet habe, hat­te ich zumin­dest von der Ver­ka­be­lung und den Netz­werk­do­sen bereits die Vor­ar­bei­ten für 10 GB Ether­net getrof­fen. Wich­tig ist, dass die Dosen und ein etwa­iges Patch Panel alle sorg­fäl­tig gepatcht sind, sprich alle Abschir­mun­gen rich­tig ange­bracht sind. 10 GBase‑T (also 10 Giga­bit Ether­net über Kup­fer­ka­bel) ist hier viel weni­ger feh­ler­ver­zei­hend, als 1 GBit Ethernet.

Um nun 10 GBase‑T mit der bestehen­den Ver­ka­be­lung nut­zen zu kön­nen, benö­tigt man zunächst ein­mal einen Switch, der die hohe Geschwin­dig­keit beherrscht.

Ich habe mich für den 16 Port Switch Net­gear XS716T ent­schie­den, um auch für die Zukunft gerüs­tet zu sein. Es gibt alter­na­tiv güns­ti­ger 10 GBase‑T Swit­ches, die dann aber deut­lich weni­ger Ports haben und/oder nur einen Teil ihrer Ports mit 10 GBit betreiben.

Tipp: Geregelter Lüfter nur beim Netgear XS716T!

Bei dem Net­gear XS716(T) gibt es eine Vari­an­te mit T am Ende des Namens und eine ohne. Die ohne T betreibt die Lüf­ter unge­re­gelt – das ist uner­träg­lich, selbst, wenn man 2 Eta­gen höher sitzt. Die Vari­an­te mit T regelt die Lüf­ter, dadurch sind sie nur noch 1/10 so laut, aber auch das ist noch hör­bar. Ich habe daher die ver­bau­ten Lüf­ter durch 2 Exem­pla­re die­ser Lüf­ter hier ersetzt (Ach­tung: poten­zi­el­ler Garan­tie­ver­lust – aller­dings las­sen sich die Lüf­ter auch pro­blem­los und unmerk­lich wie­der zurückbauen).

Anschluss des NAS an 10 GBase‑T

Das QNAP benö­tigt noch eine Netz­werk­kar­te, um 10 GBit-fähig zu wer­den, die bei­den inter­nen Netz­werk­an­schlüs­se lie­fern nur 1 GBit.

Der Anschluss des NAS an den Switch kann ent­we­der über SFP+ erfol­gen (wie bei mir im Bild) oder über 10 GBase‑T Ether­net (über ein nor­ma­les CAT6e Netz­werk­ka­bel). Die SFP+ Anbin­dung wür­de über ein opti­sches Kabel erfol­gen – aller­dings sind sowohl die Netz­werk­kar­te dafür, als auch das Kabel rela­tiv teu­er. Aus mei­ner Sicht bringt SFP+ bei solch kur­zen Distan­zen kei­nen Vor­teil gegen­über einer Kup­fer-Ver­ka­be­lung. Ich habe es ver­gli­chen und wenn ich gewusst hät­te, dass SFP+ hier so wenig bringt, hät­te ich die Kom­po­nen­ten nicht bestellt.

Die güns­ti­ge­re (und genau­so gute Alter­na­ti­ve) ist eine 10 GBase‑T Netz­werk­kar­te für das NAS, es gibt bei QNAP eine Kom­pa­ti­bi­li­täts­lis­te für ent­spre­chen­de Kar­ten. Ich habe die­se hier im NAS getestet.

Natür­lich pro­fi­tie­ren nur die­je­ni­gen Gerä­te von der 10 GBE Geschwin­dig­keit, die auch per 10 GBE ange­schlos­sen sind. In den Rech­nern, die ihr mit 10 GBit anschlie­ßen wollt, benö­tigt ihr also auch noch ent­spre­chen­de Netz­werk­kar­ten, ihr könnt dafür z. B. die glei­che neh­men, die ihr auch im NAS ver­baut habt. Ande­re Gerä­te kön­nen selbst­ver­ständ­lich wei­ter­hin mit 1 GBit ange­schlos­sen wer­den oder gar per 100 MBit.

Günstigere Alternative

Wenn es euch aus­reicht, nur einen Rech­ner per 10GBit anzu­schlie­ßen, könnt ihr euch die Aus­ga­be für den Switch auch spa­ren. Dann steckt ihr ein­fach eine zusätz­li­che 10 GBit Netz­werk­kar­te in das NAS und eine in den Rech­ner, ver­bin­det die mit einem sepa­ra­ten Kabel und los geht es. Alle ande­re Ver­bin­dun­gen lau­fen dann wei­ter­hin wie gehabt mit 1 GBit. Aller­dings müsst ihr dann halt ein sepa­ra­tes Cat 6a Kabel vom NAS zum Rech­ner ziehen.

Inbetriebnahme und Konfiguration

Am bes­ten schließt ihr zunächst euren Inter­net-Rou­ter an den Switch an und fahrt dann den Switch hoch. So bekommt er eine IP-Adres­se von eurem Rou­ter zuge­wie­sen und ist aus dem inter­nen Netz ansprech­bar. Net­gear stellt ent­spre­chen­de Infor­ma­tio­nen und auch ein Tool, um die IP des Swit­ches her­aus­zu­fin­den, zur Ver­fü­gung. Nor­ma­ler­wei­se braucht ihr auf dem Switch aber nichts zu konfigurieren.

Im Anschluss schließt ihr dann das NAS an dem Switch an und fahrt es hoch. Auch das NAS bekommt dann auto­ma­tisch eine IP-Adres­se zuge­wie­sen, über das ihr es dann über einen Brow­ser anspre­chen könnt. Die zuge­wie­se­nen IP-Adres­sen seht ihr nor­ma­ler­wei­se auch in der Kon­fi­gu­ra­ti­on eures Routers.

Danach könnt ihr die Rech­ner hoch­fah­ren. Wenn sie eine 10 GBit Netz­werk­kar­te haben, soll­ten sie auto­ma­tisch die hohe Geschwin­dig­keit mit dem Switch aus­han­deln. Ihr könnt das in den Netz­werk­ei­gen­schaf­ten über­prü­fen. Ggf. müsst ihr für die Netz­werk­kar­ten noch einen sepa­ra­ten Trei­ber vom Her­stel­ler installieren.

Die Kon­fi­gu­ra­ti­on des NAS ist rela­tiv selbst­er­klä­rend – sie erfolgt über das Web-Inter­face, ent­spre­chen­de Anlei­tun­gen fin­det ihr bei QNAP.

Ich habe die Fest­plat­ten im NAS als Raid 6 (zwei Plat­ten kön­nen gleich­zei­tig aus­fal­len) und als ein gro­ßes «Thick Volu­me» kon­fi­gu­riert. Dar­in habe ich dann ein­zel­ne Ver­zeich­nis­se als Frei­ga­be­ord­ner ange­legt, die­se tei­len sich die gesam­te Kapazität.

Noch eine Über­le­gung zur Wahl von Raid 5 vs. Raid 6: Bei Raid 5 hät­te man mehr Net­to-Kapa­zi­tät in der Grö­ßen­ord­nung einer Fest­plat­te, aller­dings dürf­te dann auch nur eine ein­zi­ge Plat­te im Raid aus­fal­len. Wäh­rend des Rebuilds die­ser einen Plat­te (was durch­aus eini­ge Tage dau­ern kann) wäre das Raid dann unge­schützt. Eine wei­te­rer Aus­fall in die­ser Zeit wür­de dann mit Daten­ver­lust ein­her­ge­hen. Aus die­sem Grund habe ich mich für das Raid Level 6 entschieden.

Fazit

Durch den Umbau auf das neue NAS sowie die Umstel­lung mei­nes Netz­werks auf 10 GBit habe ich mein Ziel erreicht, näm­lich, dass ich in Echt­zeit 4K-Vide­os, Fotos mit Ligh­t­room und Zeit­raf­fer mit LRTi­mel­ap­se auf mei­nem NAS bear­bei­ten kann und die lei­di­ge, zeit­auf­wän­di­ge und feh­ler­an­fäl­li­ge Umko­pie­re­rei entfällt.

Das NAS wird mir mit sei­nen wei­te­ren 3 frei­en Ein­schü­ben für die nächs­ten Jah­re aus­rei­chend Kapa­zi­tät lie­fern und durch das Caching erfol­gen die Zugrif­fe sehr schnell. Soll­ten die Cache SSDs in 4–5 Jah­ren hin­über sein, erset­ze ich sie gerne.

Hier ein ein­fa­cher Test mit Daten, die noch nicht im SSD Cache des NAS vor­lie­gen (ers­ter Kopier­vor­gang). Die­se wer­den mit ca 200 MB/Sekunde ange­lie­fert (gehen also mit ca 2 GBit über das Netz).

Beim zwei­ten Lese­zu­griff auf die Daten wer­den die Daten deut­lich schnel­ler ange­lie­fert, hier in die­sem Pra­xis­test mit Video­da­tei­en mit bis zu knapp 800 MB/Sek, gehen also mit ca. 8 GBit über das Netz.

Schrei­ben auf das NAS erfolgt mit ca. 200 MB/Sek, auch hier hel­fen der Cache und natür­lich die schnel­le Netzwerkanbindung.

Die­se Zah­len zei­gen, dass nur die Kom­bi­na­ti­on auf einem schnel­len NAS mit SSD Cache UND einem schnel­len 10 GBit Netz­werk den gewünsch­ten Erfolg bringt. Bei­des ein­zeln wären ansons­ten Fla­schen­häl­se, ein 1 GBit Netz­werk lässt kei­ne Über­tra­gun­gen grö­ßer als 100 MB / Sekun­de zu und ein Fest­plat­ten-NAS ohne Cache wäre nur so schnell, wie die Fest­plat­ten es erlau­ben wür­den. Die Alter­na­ti­ve eines rei­nen SSD-NAS ist heu­te lei­der noch zu teu­er pro Terrabyte.

Für Fra­gen ste­he ich ger­ne im Rah­men mei­ner Kennt­nis­se in den Kom­men­ta­ren zur Ver­fü­gung. Ich bin aller­dings auch mehr Anwen­der als Netz­werk-Exper­te und habe mir mei­ne Kennt­nis­se auch durch ent­spre­chend lang­wie­ri­ge Netz-Recher­chen ange­eig­net. Wenn ich euch damit wei­ter­hel­fen konn­te, freut es mich sehr. Schreibt doch auch ger­ne einen Kom­men­tar, wenn ihr ein ande­res Set­up benutzt, das ähn­lich gut funk­tio­niert – oder wie ihr das The­ma Daten­ab­la­ge handhabt!

Ein letz­tes Wort noch: Ein NAS ersetzt kei­ne Daten­si­che­rung. Ihr soll­tet daher alle Inhal­te auf eurem NAS, die euch wich­tig sind, ent­spre­chend sichern. Das geht ent­we­der über ein wei­te­res Back­up NAS an einem ent­fern­ten Stand­ort z.B. via der Back­up Funk­tio­na­li­tät im NAS Backend oder z.B. Dupli­ca­ti – alter­na­tiv gibt es Anbie­ter für Online Back­ups, ich nut­ze z.B. Crash­plan. Aber das ist ein ande­res The­ma, zu dem ich bei Bedarf ein­mal sepa­rat etwas schrei­ben kann.