OPNsense Forum

International Forums => German - Deutsch => Topic started by: nti on January 28, 2021, 08:27:52 pm

Title: 21.1 Und immer noch keine ZFS root Installation
Post by: nti on January 28, 2021, 08:27:52 pm
Warum nur nicht? Für mich DER Grund bei PFSense zu bleiben....
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: chemlud on January 28, 2021, 08:32:51 pm
Klär mich auf, was entgeht mir da?
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: franco on January 28, 2021, 08:49:42 pm
Ich kann dich ja verstehen und bin auch selbst daran schuld in 2020 nicht dafür geackert zu haben, aber dennoch möchte ich sagen: lass das mal lieber mit OPNsense.  :)


Grüsse
Franco
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: lfirewall1243 on January 29, 2021, 08:25:25 am
Warum nur nicht? Für mich DER Grund bei PFSense zu bleiben....

Was wären die Vorteile? Vorallem müssen die Vorteile ja so stark sein, dass man die Entscheidung eines Firewall Systems davon Abhängig macht (wo der Fokus ja eigentlich auf etwas anderem liegt als auf ZFS)  ;D
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: msi on February 10, 2021, 07:12:11 am
Bin zwar nur ein bis vor kurzem aussenstehender (nicht-registrierter) Mitleser und deshalb ist meine Stimme nich sooo relevant.  :P

Als Kontext: Bei mir kein absolut zwingender Grund (das "gute alte" UFS ist auch solid), aber mit ZFS kann ich zumindest Updates entspannter angehen lassen. Seit FreeBSD selber 'bectl' von Haus aus mitbringt, kann ich ohne jegliche Zusatzpakete (beadm) ein boot environment machen, lasse das Update durchlaufen und wenn es Problem gibt, boote ich halt ins alte BE zurück. Ausser der Zeit fürs rebooten weiss ich, dass ich ohne Schmerzen auf einen "known good" Zustand zurückkehren kann.

Eine Frage an Franco: Wäre das das relevante repository? https://github.com/opnsense/installer/

Zeit habe ich auch nicht im Überfluss, aber einen Blick werfen, was fehlt, sollte ich noch schaffen, vielleicht reichts einmal für 1-2 Zeilen Patches, wer weiss...  :)
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mimugmail on February 11, 2021, 09:50:49 pm
Guck mal die Issues bei pfsense bzgl. zfs an. Dafür ist das Projekt eigentlich noch nicht groß genug.
Das Problem ist ja dass 99,9% mit dem Vorteil nichts anfangen können und die 0,1% wahrscheinlich 25% mehr Support Issues deswegen verursachen.

Nur meine persönliche Meinung.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: AlienMindbender on February 12, 2021, 12:05:13 am
Kann mich da nur anschließen. ZFS für Storage, z.B. TrueNAS? Sowieso.
Für eine Firewall? Da sehe ich andere Prioritäten.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: JeGr on February 15, 2021, 02:31:51 pm
> Guck mal die Issues bei pfsense bzgl. zfs an. Dafür ist das Projekt eigentlich noch nicht groß genug.

Blöde Frage aber welche Issues? Die meisten Issues die bei uns als Support aufschlagen sind genau wegen UFS weil die Leute die Kisten behandeln wie 0815 Router. Ausgeschaltet ohne runterfahren, nicht an USV angehängt etc. etc. Und dann gibts File System Corruptions. Hatten wir mehrfach. Seit wir die Kunden mit pfSense nur noch mit ZFS ausliefern (default ZFS Install genügt vollkommen) hatten wir mit den Boxen auch bei solchen Kunden mit Stromausfall, hartem Reboot etc. keinerlei Probleme mehr mit FS Corruption etc.

Also ich verstehe dass man den Fokus da aus Developer Sicht nicht drauf legt, aber diese 2000er Aussage bzw. die Kommentare die das so mit "ZFS nur Storage blubb" abbügeln, kann ich daher absolut nicht nachvollziehen, sorry. :)

Uns hat es gerade FS bezogene Probleme wesentlich reduziert und daher finde ich es ebenfalls schade, dass es leider bislang keine Installer Unterstützung für Setup mit ZFS gibt. Vor allem weil sich das - eingeschleift in den Updater mit "Rollback" bei fehlgeschlagenem Update / Switch auf vorhandenes BE/alte Version absolut anbieten würde.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: AlienMindbender on February 15, 2021, 09:59:05 pm
Ein Stromausfall ist aber bei anderen gängigen Journaling-FS (NTFS, ext3/4...) auch kein Problem. Wenn UFS da Probleme macht wäre es doch einfacher auch gjournal zu verwenden...?
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: JeGr on February 17, 2021, 03:32:43 pm
Naja "was anderes" zu benutzen ist eben genau der Punkt ;)
Und ob es nun UFS+gjournal ist (Interessensfrage: warum war das eigentlich nie ein Punkt das generell mit ins Spiel zu bringen?) oder ob es ZFS ist, was bei den Filesystem Größen die wir bei OPNsense normalerweise sehen (also ~2-3GB in use) keinen großen Overhead produziert und einfach eben gerade durch den Einsatz im NAS/SAN Bereich solide ist, wäre an der Stelle ja recht egal.
Nur kann man dann eben - wenn man sich ZFS ran nimmt - auch die ganzen anderen Features mit unter den Nagel reißen und eben Snapshotting, Redundanz auf Blocklevel etc. reinbringen. Denn wenn ich ne Kiste habe, die ~2-3GB braucht - lassen wirs 10GB mit großen Logs sein - und ich habe ne 64GB SSD verbaut (meist bekommt man heute eh kaum noch kleinere Sachen als 128/256 wenns ordentliche Qualität ist), dann ist mir recht egal, ob ein File in 1KB ggf. 2KB braucht weil seine Blöcke redundant 1-2fach redundant auf der SSD verteilt werden. Und genug Platz für Snapshots bei einem Update ist dann auch, womit ich eine schöne Rollback Möglichkeit habe. Oder für Spezialkisten mit CF oder SD Karten oder auch USB Sticks als Bootmedium auch problemlos RAID-1 auf 2-n Geräten.

Mein Punkt ist einfach: wir haben in BSD mit ZFS ein rock solid enterprise grade Filesystem. Dass das für Storage super/gedacht ist - ja klar. Aber das macht es doch nicht automatisch schlecht für den Einsatzzweck einer Firewall/Security Appliance, die noch dazu (in den meisten Fällen) keine großen Anforderungen an IOPS oder Perfomance hat. Von Live Deduplication oder sonstwas redet ja niemand ;) Aber warum soll man die ganzen sinnvollen Features wie blocklevel redundancy, snapshotting und multi boot environments liegen lassen, nur weil es "hauptsächlich" auf Storage fokussiert ist? Und nachgewiesenermaßen es immer mal wieder mit UFS rummst gerade wenn es hard resets oder power losses sind?

Und nein, das ist kein Meckerpost à la "das muss jetzt implementiert werden, warum macht ihr das nicht", aber ich verstehe da gerade die vielen Stimmen dagegen nicht, die alle rufen "das ist ein Storage Ding, das braucht keiner". Warum denn nicht? Und wie gesagt, wir haben da nach mehr als 3 Jahren in der pfSense Ecke nur gute Erfahrungen gemacht. Auch wenn wir genauso am Anfang die Leute bei der Installation überzeugen mussten es auszuprobieren weil "warum soll ich da so ein Storage Ding draufinstallieren" war tatsächlich anfänglich eine Dauerbrennerfrage ;) Inzwischen allerdings kaum noch :)
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: Gauss23 on February 17, 2021, 05:46:20 pm
kein Meckerpost à la "das muss jetzt implementiert werden, warum macht ihr das nicht", aber

+1

Wie groß ist der Aufwand das zu implementieren? Da muss der Installer sicherlich umgebaut werden. Kann man ja ggf. optional machen.

Dann könnte man vor jedem Update ein Snapshot erstellen lassen und es bräuchte vermutlich noch ein Interface, um einen Rollback machen zu können.

Nachtrag: eben https://github.com/opnsense/installer gefunden. Ob der mal den jetzigen Installer ablösen soll?

In https://github.com/opnsense/installer/blob/master/scripts/opnsense.sh sind die relevanten ZFS Teile auskommentiert. Benutzt wird offenbar noch die "alte" Version vom Installer: https://github.com/opnsense/bsdinstaller
In dem Repo findet sich das Wort ZFS an 4 Stellen.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: AlienMindbender on February 22, 2021, 09:57:49 pm
Mein Punkt ist einfach: wir haben in BSD mit ZFS ein rock solid enterprise grade Filesystem.

Das stimmt sicher, nur wird "rock solid" aus der BSD-Ecke (FreeNAS / TrueNAS) immer wieder an Bedingungen geknüpft:

Das ist vielleicht alles übertrieben, trägt aber zum "Respekt" (Misstrauen) gegenüber ZFS bei. Mir ist noch kein Kommentar untergekommen der ECC für ext4, NTFS oder FAT fordert.
(Was im Umkehrschluss aber natürlich nicht heißt dass ich FAT gegenüber ZFS bevorzugen würde  ;D)
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: Patrick M. Hausen on February 22, 2021, 10:00:49 pm
Dieses "Wissen" ist aber längst widerlegt, schlimm genug, dass es immer noch wiederholt und wiederholt wird ...

ZFS ohne ECC ist immer noch zuverlässiger als jedes andere Dateisystem ohne ECC. Der "Scrub of Death" ist ein Mythos. Und 2 GB RAM mit Anwendungen ist auch völlig ausreichend. Es ist ja nicht so, dass OPNsense eine Storage Appliance wäre.  ;)

https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: AlienMindbender on February 22, 2021, 10:29:21 pm
Der Einsatz von ECC bei ZFS wird aber nach wie vor promotet, z.B. auch in der offiziellen TrueNAS Doku:
Quote
Using ECC RAM is strongly recommended
(Quelle: https://www.truenas.com/docs/hub/intro/corehardwareguide/ (https://www.truenas.com/docs/hub/intro/corehardwareguide/))

Das heißt aber natürlich nicht, dass andere Dateisysteme ohne ECC sicherer wären. Einen Vergleich dazu habe ich noch nirgends gesehen. Gut möglich, dass ZFS in der Tat auch mit und ohne ECC am stabilsten ist (und man halt das "Pech" hat als einziger ECC zu empfehlen)...  :)
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: Patrick M. Hausen on February 22, 2021, 11:03:47 pm
Natürlich. ECC ist immer sinnvoll. Und jeder vernünftige Rechner hatte das vor 30 Jahren. Intel ist schuld an der "bei einem Desktop braucht man das doch nicht ..." Idee. Und der Marktseparation. Teure Hardwar für Server, billige für "Consumer". Statt dass die teure durch die Stückzahlen billiger wird. Es hätte niemals ein IDE oder ein SATA geben dürfen, es gibt keinen technischen Grund für deren Existenz. SCSI und später SAS in Stückzahlen raushauen und billiger machen wäre sinnvoll gewesen. Genau so mit ECC.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: chemlud on February 23, 2021, 09:50:11 am
@pmhausen

Da musst du aber erstmal ein paar Millionen Marketing-Fuzzies ("we need a choice for the customer!") hinter's Haus führen...
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: Patrick M. Hausen on February 23, 2021, 12:49:21 pm
Die Marketing-Abteilung der Sirius Cybernetics Corporation wurde beschrieben als "ein Rudel hirnloser Irrer, die als erste and die Wand gestellt werden, wenn die Revolution kommt".

Greif zu und genieße.  ;D
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: JeGr on February 25, 2021, 12:49:27 pm
Was @pmhausen schon sagt. Ich kanns nur aus der Service Provider / Managed Services Sicht sagen. Wir haben beide Sensen bei Kunden. Wir haben seit ZFS Start bei pfSense NUR noch auf ZFS gesetzt. Selbst Boxen mit 2 oder 4GB haben keinerlei Probleme oder großartigen Mehrverbrauch von RAM bei ZFS weil schlicht die Datenmenge bei einer typischen Sense Installation SO klein ist, dass es komplett irrelevant ist. Das ganze "muss ECC" oder "mind. 2GB RAM" oder sonstwas ist entweder irrelevant, überholt und widerlegt oder eh schon gegeben, weil die Boxen heute mind 1-2GB RAM eh schon locker haben (bis auf kleine Ausnahmen) oder wir es empfohlen ist, da man mit Zusatzpaketen ordentlich arbeiten will und weniger als 1-2GB RAM da eh schon beleidigend wäre ;)

Darum: es gibt keinen wirklichen technischen Grund aus meiner Sicht es nicht zu machen oder anzubieten. Was erneut kein Aufruf ist "das muss so sein, jetzt entwickelt das endlich", sondern einfach nur ein Anstoß, dass es andere schon lange anbieten, es da wunderbar funktioniert und man damit sogar (um ein wenig rauszustechen und vorzupreschen) auch gleich noch andere Dinge mit anpacken könnte (wie das alte Rollback/Full-Backup wiederbringen, dass es früher schon gab).

Dem Endkunden/Käufer ist es an der Stelle völlig egal, wenn er nicht gerade technisch völlig drinsteckt. Der sieht nur: BAM, Stromausfall, Kiste kommt nicht hoch, Filesystem war korrput, Neuinstallation und (hoffentlich) Backup einspielen. So'n Murks. Und genau solche Fälle haben wir - Erfahrungsbericht ohne Wertung - eben mit ZFS bei den pfSense Kunden keinen einzigen mehr seither. Und ja man kann jetzt ggü. dem Kunden sich den Mund wund blubbern, dass er selbst Schuld ist wegen fehlender USV und sonstigem Geraffels. Aber die betrachten - nicht zu unrecht - eine Firewall Appliance Kiste wie eine Netzwerkhardware o.ä. Da kann ich eben einfach den Stecker ziehen und umkabeln. Wenn man da kommt mit "runterfahren, warten bis alles gestoppt ist etc." gucken die einen an wie'n Auto :D
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: devhunter55 on October 23, 2021, 11:17:58 pm
ZFS ist das weltweit beste FileSystem auf der Welt.
Es gibt bislang kein einziges FileSystem, das VolumeManagement, FileSystem, (Software)Raid-Controller und Snaphots so homogen in Perfektion vereint wie ZFS. Ich betreibe viele ZFS-Systeme und keines bietet Datenschutzt auf Enterprise Niveau wie ZFS. Keines!. Ich betreibe auch Systeme mit btrfs, das ZFS nahe kommt und auch sehr gut/ähnlich ist. Es ist natürlich empfehlenswert ECC für ZFS zu verwenden (gerade weil ZFS professionell und Enterprise ist, schlägt es das vor), aber man kann auch ZFS ohne ECC verwenden.

Wenn man dies tut, dann sollte man die Option verwenden:
zfs_flags is set to 0x10 (important for NON-ECC Memory - die einen annährenden Schutz bietet wie ECC-Memory, weil diese Optine zusätzliche Checks ausführt, die mit ECC nicht nötig wären.

Wie schon erwähnt wurde - kein FileSystem auf der Welt verträgt Cold-Power Offs so gut wie ZFS.
Ist Deduplikation nicht eingeschaltet, geht auch ZFS mit dem Memory sparsam um. ... Ich könnte Euch noch viel, viel mehr über ZFS erzählen. Ich war lange Zeit Storage Engineer auf Netapp Systemen, 3PAR, XP, EMC ..etc. Es gibt nur ein Storage-Filesystem, das ZFS nahe kommt und das ist Netapp.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mimugmail on October 24, 2021, 09:30:38 am
Ein Glück dass es seit 21.7 verfügbar ist :)
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mrk45k on October 24, 2021, 09:32:22 am
Quote
zfs_flags is set to 0x10

Und wie setzt man das? weiß das wer? Ich habe irgendwie nichts brauchbares dazu gefunden.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mrk45k on November 03, 2021, 12:33:53 pm
Ich schiebe das mal nach oben, habe auch sonst nichts gefunden wie ich das machen soll.
Selbst bei Freebsd oder truenas finde ich nicht wie ich das setze.
Oder bin ich blind? wenn einer einen Link hat immer her damit ;)
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: Patrick M. Hausen on November 03, 2021, 12:58:43 pm
https://arstechnica.com/civis/viewtopic.php?f=2&t=1235679&p=26303271#p26303271

Quote from: Matthew Ahrens
There's nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem. If you use UFS, EXT, NTFS, btrfs, etc without ECC RAM, you are just as much at risk as if you used ZFS without ECC RAM. Actually, ZFS can mitigate this risk to some degree if you enable the unsupported ZFS_DEBUG_MODIFY flag (zfs_flags=0x10). This will checksum the data while at rest in memory, and verify it before writing to disk, thus reducing the window of vulnerability from a memory error.

I would simply say: if you love your data, use ECC RAM. Additionally, use a filesystem that checksums your data, such as ZFS.

Auf FreeBSD sind die ZFS-Fllags eine sysctl-Variable, kann man also nur global einschalten:
Code: [Select]
sysctl vfs.zfs.flags=0x10
Ohne Gewähr. Auch mag es sinnvoll sein, sich den Wert vorher anzugucken, da das ein Bitfeld ist. Also dann 0x10 (bit 4) hinzufügen. Der Status auf meinen Systemen ist aktuell aber 0.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mrk45k on November 04, 2021, 12:11:47 pm
Das ist es. Irgendwie stand ich auf dem Schlauch.
Danke.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mrk45k on December 15, 2021, 03:51:01 pm
Kann mir einer sagen welche ZFS version im aktuellen build 21.7.6 läuft?
Denn das "ZFS_DEBUG_MODIFY flag" ist nicht mehr inbegriffen.
Und ein "zfs -v", "zfs version" oder "zfs --version" kenn das ZFS in OPNsense nicht.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: franco on December 15, 2021, 04:08:29 pm
Zumindest bei 22.1.b3 geht es...

# zfs version
zfs-2.1.1-FreeBSD_g71c609852
zfs-kmod-2.1.1-FreeBSD_g71c609852


Grüsse
Franco
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mrk45k on December 15, 2021, 04:11:01 pm
ja, bei 21.7.3 ging es auch beides noch. Bei der jetzigen, gerade gesehen, 21.7.7 geht das auch nicht mehr.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: mrk45k on December 15, 2021, 04:12:10 pm
ja, bei 21.7.3 ging es auch beides noch. Bei der jetzigen, gerade gesehen, 21.7.7 geht das auch nicht mehr.


Code: [Select]
root@OPNsense:~ # sysctl vfs.zfs.flags
sysctl: unknown oid 'vfs.zfs.flags'
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: franco on December 16, 2021, 10:04:45 am
Klappt vielleicht nur wenn ZFS auch im System verwendet wird? :)


Grüsse
Franco
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: Patrick M. Hausen on December 16, 2021, 12:20:10 pm
Meine "Sensen" laufen alle auf ZFS, aber die OID ist ebenfalls nicht da. Ist mir allerdings wurst. Leute, das Flag ist komplett unsupported und niemand garantiert, dass das überhaupt das tut, was Ihr denkt, dass es tut.

Benutzt ZFS auch ohne ECC, das ist immer noch um Längen besser als UFS ohne ECC ...
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: ktx on February 13, 2022, 01:27:37 pm
Nachdem mir nach einem 5 Sekunden Stromausfall mal die ganze Sense abgeschmiert ist und das Filesystem beleidigt war und das ganze Ding nicht mehr booten wollte habe ich den Swap zu FreeBSD genutzt um die SSD zu tauschen und OPNSense per ZFS  zu installieren.

Soweit hat alles geklappt allerdings habe ich 82% meiner 4GB Ram ausgelastet während die zweite mit UFS (selbe Build, selbe Hardware nur ohne HAproxy) gerade mal 16% der 4GB konsumiert.

Habe ich danb35's Post richtig verstanden dass sich ZFS immer den Großteil an Speicher fürs caching reserviert und die Auslastung daher normal ist? https://forum.opnsense.org/index.php?topic=18187.msg82688#msg82688

Kann man eigentlich vor dem Upgrade z.B. nen snapshort erstellen und wenn was fehlschlägt oder nicht so rund läuft mit der neuen Version wieder zurückspringen?
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: devhunter55 on April 16, 2022, 11:25:46 am
Patrick - Hut ab - lese gerade ein paar Kommentare von dir auch von anderen Post - immer gute Info und profundes Wissen :-)

Also .. nun noch mein Senf zu ZFS .. ich betreibe nun schon fast 15 Jahre lange ZFS (TrueNAS, Proxmox, zfs for linux und viele andere).

Ich betrachte ZFS als das zur Zeit beste Filesystem auf der Welt - es gibt - soweit ich weiss - kein anderes Filesystem, dass sowohl Volume-Mgnt,FileSystem,Software-RAID (und noch viel besser beherrscht als alle HW-Raids !) und SnapShots beherrscht. ECC is fundamental für ZFS).

Aber wie Patrick schreibt is ZFS sogar ohne ECC und sogar ohne MIRROR sicherer als jedes andere FileSystem (natürlich auch ohne mirror).

Ich selbst habe ZFS unter LINUX auch schon (als BACKUP ZFS Dataset) ohne ECC und MIRROR betrieben mit dieser ZFS config Modifikation:
ZFS_DEBUG_MODIFY flag (zfs_flags=0x10)

"There's nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem. If you use UFS, EXT, NTFS, btrfs, etc without ECC RAM, you are just as much at risk as if you used ZFS without ECC RAM. Actually, ZFS can mitigate this risk to some degree if you enable the unsupported ZFS_DEBUG_MODIFY flag (zfs_flags=0x10). This will checksum the data while at rest in memory, and verify it before writing to disk, thus reducing the window of vulnerability from a memory error."

Übrigens .. ZFS auf OPNSense hat mir schon einige Mal den A* gerettet .. mit keinem FileSystem geht ein Restore so schnell und problemlos (boot in single user Mode & zfs rollback -R zpool/xxxx)

I would simply say: if you love your data, use ECC RAM. Additionally, use a filesystem that checksums your data, such as ZFS.
Title: Re: 21.1 Und immer noch keine ZFS root Installation
Post by: Patrick M. Hausen on April 18, 2022, 11:09:11 pm
@devhunter55 danke sehr  :)