Bekannter von mir macht freischaffend Videoschnitt und Animationskram, innerhalb der letzten 6 Monate sind ihm 2 Platten verstorben, und weil ich son ein guter Mensch bin habe ich mich der Problematik dann mal angenommen.

Nachdem dann geklärt war, dass man diesmal auf USB festplatten verzichten möchte, weil die unter Last wegsterben wie die Fliegen, habe ich ein NAS nahegelegt, zentraler Dienst, mit GBit.
Consumer NAS (zb das Linksys NAS200) bestechen duch Optik, das wars.
Zusammengefasste Rezensionen zu dem NAS200
- wird heiss wie ein Toaster da nicht aktiv gekühlt
- laut, da die Platten weder entkoppelt noch festgeschraubt werden
- im idealfall 3.5MByte/s

3.5MByte/s sind für den Anwendungsfall untragbar.

Echte Storage Solutions schieden leider durch ihren Preis aus, man musste das also selbst angehen.

Eckdaten die angesagt wurden:
* wenigstens 4TB Speicher
* so preiswert wie möglich
* wenigstens 20MByte/s schreibgeschwindigkeit
* wenigstens 40MByte/s lesegeschwindigkeit
* Zugriff über ftp und cifs

Als erstes ging es dadran ein geeignetes Gehäuse zu finden, die Wahl fiel auf ein IPC 4038 19" 4HE Rack Gehäuse, kostet knapp 100€
Der Raid Controller wurde ein Dell Perc 5/i aus der Bucht für knappe 150€, der PCI Express Controller kann Verbunde mit mehr als 2TB hat aber mit diversen Intel Chipsätzen Probleme, weil Intel da irgendwas mit dem SMBus Protokoll verkackt hat.
Mainboard, CPU, RAM und Netzteil lagen vom letzten Systemupgrade des 'Audtraggebers' noch rum, ein versifftes A8N SLI Deluxe mit 1GB RAM und AMD64 3500er CPU und ein bequiet Netzteil.
Das Mainboard war idealerweise nforce 4 Chipsatz, also waren da keine Probleme mit dem Perc zu erwarten.

Das IPC 4038 Gehäuse ist nicht dafür gedacht gewesen dass man da wirklich viele Platten einbaut, mit Alu Profilen aus dem Baumarkt, einer Flex, ner Akkubohre und meinem treuen HSS Bullet Bohrer wurde das Gehäuse dann der Realität angepasst.

Da ein weiterer 12cm Lüfter eingebaut werden sollte, und beide 12cm Lüfter regelbar gemacht werden sollten, wurde die Front auch direkt neu gestaltet.

Platten fiel dann die Wahl auf 8 Samsung Spinpoint F1 mit je 1000GB Kapazität.

Ich hab da mal -mit freundlicher genehmigung des 'Auftraggebers'- paar Bilder von dem Projekt auf flickr hochgeladen.
http://flickr.com/photos/24017027@N00/sets/72157607265660621/

Nun, das was das ganze meines Erachtens interessant macht, dass ich das hier poste, das Ergebnis.
Als Betriebssystem wurde debian stable auserkoren, die 6.4TB logische Platte unter XFS machte aufgrund eines uralten kernelbugs anfangs Probleme, allerdings gabs es idealerweise eine 2.6.24 kernel unter debian (etchnhalf genannt), in dem das alles behoben war.
ftp-server software vsftpd, cifs samba, cpu taktung übernimmt powernowd.
Onboard Netzwerkkarten von dem A8N Mainboard machen beide so ca 80mb/s mit der Standard 1500er MTU, für unsere Zwecke ausreichend.
Das Raid meldete in hdparm ca 120MByte/s Lesegeschwindigkeit an, nicht die Krone für einen Verbund aus 8 Platten die einzeln je 90Mbyte/s wegschaffen, aber wir haben ja bewusst am Controller gespart weil wir halt maximal 120Mbyte/s über Gbit übertragen können.
Erste ftp-Testläufe ergaben 40MByte/s schreibgeschwindigkeit, und 70MB/s Lesegeschwindigkei, absolut ausreichend.
CIFS war langsamer, etwas mehr als 50MB/s lesend, aber das war zu erwarten.

Aufgrund der guten Zahlen wurde dann nach Festplattenverschlüsselung gefragt, ich hab das abgelehnt, weil das _massiv_ Leistung kostet, aber nachdem ich mir mehrfach anhören musste dass es wesentlich wahrscheinlicher ist, dass jemand bei einem Einbruch ein 40kg schweres 19" Gehäuse mitnimmt statt rumstehender USB Platten (die alle unverschlüsselt betrieben wurden), hatte ich dann kein Bock mehr und hab das einfach mit dm-crypt umgesetzt.
Quellcode:cryptsetup luksFormat --cipher aes-cbc-essiv:sha256 /dev/sda1 /mnt/usbstick/sda1
cryptsetup luksOpen --key-file /mnt/usbstick/sda1 /dev/sda1 sda1
mkfs.xfs /dev/mapper/sda1
cryptsetup luksClose /dev/mapper/sda1
ftp Schreibgeschwindigkeit mit aes-essiv/sha256 beträgt noch 25MByte/s, Lesegeschwindigkeit etwas weniger als 50MByte/s, und das war dann (trotz der massiven Einbußen) ausreichend um das so zu nutzen.

Via ftp hat er nun an einem Tag (pro Stunde kann er ca 90Gbyte schreiben) seinen gesamten Kram auf das Storage umgezogen.

Fazit, wer ein guten preiswerten Raid Controller haben möchte, der Dell Perc 5/i ist eine gute Wahl.
Für knapp 1200€ stehen da nun 6.4TB verschlüsselter und gut angebundener Speicher.
Echte Auftraggeber werden ohne '' geschrieben und bezahlen in € statt in Becks.

Paar Sachen stehen noch aus, USB Storage der an dem NAS angeschlossen wird soll direkt in den share gemountet werden damit er da mit CIFS von kopieren kann, wenn da jemand ne Idee zu hat, bin ich für zu haben.
Und der Schlüssel um das Raid zu entschlüsseln liegt auch auf usb stick, das sollte idealweise direkt mounten & entschlüsseln wenn man den Stick reinsteckt.
Momentan muss ich das machen, wenn er das ausmachen sollte.

Du musst Deine Bandbreite verbreitern, damit du breiter wirst von der Bandbreite her und ein breiteres Publikum ansprechen kannst.

wenn man schnelle verschlüsselung will wäre http://geizhals.at/deutschland/a293997.html evtl ne option - hat auch nen pci-e slot für raid-controller, onboard-gbit und hardware-verschlüsselung.

für das "entschlüsseln wenn man usb-stick reinsteckt": da kann man doch bestimmt irgendwas mit dbus machen

caedes

Deutschland rückt nach Einschätzung der Sicherheitsbehörden im Superwahljahr verstärkt ins Visier von Terroristen.

das is ja nun alles udev, da müsste man dann ansetzen

Du musst Deine Bandbreite verbreitern, damit du breiter wirst von der Bandbreite her und ein breiteres Publikum ansprechen kannst.

Zitat:

caedes postete
wenn man schnelle verschlüsselung will wäre http://geizhals.at/deutschland/a293997.html evtl ne option - hat auch nen pci-e slot für raid-controller, onboard-gbit und hardware-verschlüsselung.

\o tanz den naziprau! o/

And more than ever, I hope to never fall,
Where enough is not the same it was before

bei mir zieht samba massiv leistung bei r/w und vsftpd bei w

Du musst Deine Bandbreite verbreitern, damit du breiter wirst von der Bandbreite her und ein breiteres Publikum ansprechen kannst.

@theDon: Kannst du mal einige Benchmarks machen? Habe mir nämlich damals auch überlegt, das Board zu holen, weil ich allgemein sehr zufrieden bin mit den VIA Epia Boards (vor allem vom Stromverbrauch her), habs dann aber gelassen und dafür auch einen AMD64 in mein NAS eingebaut.

Mein NAS sieht momentan folgendermassen aus:
Board: Asus-A8N
CPU: AMD64 4600+
Memory: 1GB
Raid: Areca 1210
HDs: 4 WDC WD3200SD (Western Digital, 320GB, S-ATA) im RAID-5
OS: deb/etch
Performance lokal:
Quellcode:# hdparm -tT /dev/sda

/dev/sda:
Timing cached reads:   1826 MB in  2.00 seconds = 913.85 MB/sec
Timing buffered disk reads:  552 MB in  3.00 seconds = 183.92 MB/sec
# time dd if=/dev/zero of=/srv/test.img bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 73.6139 seconds, 146 MB/s

real    1m13.851s
user    0m0.028s
sys    0m19.349s Lese-Performance ist nur knapp darüber (185 MB/s). Momentan habe ich noch das Onboard-Ethernet in Verwendung und habe über das Netzwerk deshalb nur ~50 MB/s w.

@USB-Automount: Bitte unbedingt posten, wenn du das geschafft hast.
Das hier könnte für das Auto-Decrypt helfen: http://www.kanotix.com/PNphpBB2-printview-t-23714-start-0.html

hier is das halt dm-crypt, daher ist das schwer zu vergleichen.

Quellcode:time dd if=/dev/zero of=/share/raid/10G bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 166.319 seconds, 64.6 MB/s

real    2m46.670s
user    0m0.036s
sys    0m27.054s
das dass onboard nic nur 50mb/s machen soll kann ich kaum glauben, ich hab ja ca das gleiche board.

Du musst Deine Bandbreite verbreitern, damit du breiter wirst von der Bandbreite her und ein breiteres Publikum ansprechen kannst.

Ich habe das Onboard NIC nie ohne Samba zwischendrin getestet. Da jedoch der load auf dem System nicht wesentlich angestiegen ist, bin ich bisher immer davon ausgegangen, dass das NIC der Flaschenhals sein muss. Werde das aber noch testen, bevor ich eine neue NIC einbaue und dann die selben Werte erhalte...
Edit:
Quellcode:$ iperf -c 172.20.1.1
------------------------------------------------------------
Client connecting to 172.20.1.1, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  3] local 172.20.10.1 port 34573 connected with 172.20.1.1 port 5001
[  3]  0.0-10.0 sec    744 MBytes    623 Mbits/sec Ok, das ist einiges schneller als die 50 MB/s. Dann muss ich wohl mal noch ein wenig genauer schauen, weshalb Samba da so langsam ist.

versuch mal
'server'
pv /dev/zero | nc -vvlp 4711

'client'
nc -vv 'server' 4711 | pv > /dev/null

Du musst Deine Bandbreite verbreitern, damit du breiter wirst von der Bandbreite her und ein breiteres Publikum ansprechen kannst.

Quellcode:time dd if=/dev/zero of=10G bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 191.983 s, 55.9 MB/s
dd if=/dev/zero of=10G bs=1M count=10240  0.09s user 62.77s system 32% cpu 3:12.69 total Limitierender Faktor ist definitiv das Softraid.

\o tanz den naziprau! o/

And more than ever, I hope to never fall,
Where enough is not the same it was before

den perc 5i kann ich wie gesagt nur empfehlen, unter
http://www.forumdeluxx.de/forum/showthread.php?p=8088455#post8088455
kann man sich auch bilder angucken wie geil der reisst.
ich hab 64k stripsize und adaptive readahead, warum ich _weit_ unter den dort gemachten ansagen liege liegt wohl am wetter.

td, welche netio reisst das board?

Du musst Deine Bandbreite verbreitern, damit du breiter wirst von der Bandbreite her und ein breiteres Publikum ansprechen kannst.