Jak na zálohování důležitých dat

(Tento post není o filmu)

Dnes bych se rád rozhovořil o tom, jak jsem (snad) skoro dokonale vyřešil své problémy se zálohováním, a to konkrétně:

1) Mám ve svém PC několik set GB dat, o která nikdy, za žádných okolností nechci přijít.

2) Některá ta data se dost často mění (i každý den), ale 99 procent z nich nikoliv.

3) U některých z těch dat potřebuji mít možnost vrátit se ke starší podobě oněch dat, kterou měla například včera nebo před rokem.

4) Mám Linux, takže vyrobit si pár jednoduchých skriptů, patřičně je provázat a spouštět je přes cron je pro mě jednodušší, než hledat nějakou hezkou barevnou zálohovací aplikaci s GUI. Pravděpodobně jde analogické řešení provést ve Windows, ale neporadím vám s tím.

O konkrétní podobu těch skriptů ani tak nejde. Spíš jsem myslel, že by vás mohlo zajímat, jaký software (všechen zdarma a open source) k tomu lze úspěšně použít. Takže:

Nejdřív malá specifická odbočka: Velmi speciálním případem jsou soubory k mému rozpracovanému filmu (ano, pořád rozpracovanému). Samozřejmě zálohuji všechny datové soubory ze střihacího programu (Lightworks) i jiné samostatné multimediální soubory (CGI rendery, zvukové soubory nahrané zvlášť atd.). Potenciální problém je v tom, že videosoubory, které stříhám, musí být ve videoformátu vhodném pro stříhání, a mají dohromady okolo dvou terabajtů. Abych je nemusel zálohovat, zálohuji pouze adresář "raw_videos", kde mám všechny videosoubory zkopírované z kamer v jejich původních formátech (AVCHD a GoPro), které jsou mnohem kratší, ale nevhodné pro stříhání. Kromě toho mám připravený skript, který dokáže všechna videa z raw_videos převést do vhodných "stříhacích" formátů (pomocí ffmpeg) a ještě je smysluplně přejmenuje a roztřídí. Kdybych náhodou přišel o celý harddisk, stačí mi obnovit ze zálohy onen adresář "raw_videos" a skriptem zrekonstruuji "střihatelná" videa do přesně stejné podoby, jakou měla předtím. T.j. stříhací program může pokračovat v práci, aniž by si všiml, že pracuje s jinými dvěma terabajty videodat, než pracoval předtím. (Soubory stříhacího programu, definující samostný sestřih, jsou striktně odděleny od videosouborů a jsou zálohovány zvlášť.)

Prvním důležitým programem pro zálohování je Borg Backup. Ten umožňuje zálohovat mnoho verzí mnoha souborů, přičemž výsledné archivy mají dohromady jen o málo větší velikost, než všechna unikátní data ve všech vašich archivech. Tedy, pokud například máte adresář se 100 GB dat, každý den z nich vytvoříte jeden nový záložní archiv, a během třiceti dnů přidáte / změníte celkem 1 GB z nich, tak po 30 dnech bude mít všech 30 vašich archivů dohromady jen 101 GB (a nějaké drobné). Navíc, bez ohledu na počet a velikost původních souborů, data všech těch archivů budou pozůstávat převážně z velkých souborů (500 MB každý), z nichž valná většina se při každodenních updatech nebude měnit. Na rozdíl od podobně fungujících metod standardního diff zálohování Borg Backup umožňuje mazat libovolné starší archivy, aniž by přitom musel překompresovávat / kopírovat celý archiv. A může je mazat podle poměrně složitých parametrů, takže například můžete mít automaticky zaručeno, že máte od svého archivu jednu verzi za každý z posledních 60 dní, pak jednu verzi za každý z předchozích 52 týdnů a pak jednu verzi za každý z předchozích měsíců.

Prvním krok mého zálohovacího skriptu, který se automaticky spouští každé ráno v 5:00, spočívá tedy v tom, že z asi tuctu adresářů na mém harddisku updatuje stejný počet Borg archivů na mém zálohovacím disku. Ten je sice externí (připojený přes USB a odpojitelný), ale rychlost není problém. Většinu dní se nezmění více než gigabajt dat a aktualizace několika set GB archivů (a odstranění starých, nepotřebných) trvá většinou méně než 5 minut. Různé archivy mají různě nastavené mazání, takže například u svého filmu mám archivováno podstatně více verzí (dále do minulosti a s jemnější granulatritou), než u svého archivu VST pluginů.

Externí USB disk samozřejmě může relativně snadno umřít, takže pro jistotu používám i starší domácí NAS box s dvěma 1 TB disky v RAID 1. Na něj se každou noc kopíruje 1:1 celý obsah zálohovacího USB disku. Zápis na něj je velmi pomalý (okolo 10 MB/s), ale to je celkem jedno, neboť kopírování se provádí pomocí programu rsync, který kopíruje pouze změněné soubory. A vzhledem k tomu, že většina souborů jsou Borg archivy, je změněných většinou jen pár z nich.

Pro případ, že by došlo k něčemu katastrofálnímu, a byl například zničen celý můj se všemi úložišti, zálohuji vybrané důležité archivy (například svůj film) ještě online, a to na Backblaze B2. Backblaze vám nabízí "personal backup" pro Windows a Mac, kdy můžete za 5 dolarů měsíčně zálohovat kompletní obsah harddisku v jednom svém počítači. Pro mé potřeby je ale užitečnější jejich B2 systém, kdy platíte podle skutečně použitého místa (a jistých dalších kvót), jeden dolar (plus DPH) za 200 uložených GB, a můžete si zálohovat co chcete, jak chcete a odkud chcete (přes dobře zdokumentované API). Online zálohování provádím programem rclone, který je vpodstatě luxusnější variantou rsyncu pro cloud storage a opět uploaduje pouze změněné soubory (u každého si pamatuje checksum). Všechny archivy jsou samozřejmě enkryptovány (už v lokální záloze, dlouho před uploadováním), což Borg backup hladce umožňuje.

Výsledkem je, že všechno výše popsané každodenní zálohování (500 GB na dvě externí zařízení a 250 GB do cloudu) dohromady trvá většinou pod 10 minut.

Ilustrační foto někoho, kdo jistě umí kvalitně zálohovat

Skript, který provádí každou noc všechny výše zmíněné operace, ještě u každého archivu porovná jeho součásný obsah s obsahem z předchozího dne, a zapíše mi do log souboru, co přesně se ve kterém archivu za minulý den změnilo. Někdy to jsou hromady textu, ale občas se to hodí. Pokud skript někdy v průběhu zálohování zjistí nějakou chybu, pošle mi e-mail. Jednou za pár dní se ručně podívám, jestli log z předchozí noci vypadá OK.

Kdyby selhaly mé interní harddisky, všechny důležité soubory snadno obnovím z Borg záloh, které mám na dvou výše zmíněných externích discích. Pokud chci obnovit pouze některé specifické soubory do podoby, kterou měly před několika dny / týdny / měsíci, Borg umožňuje velmi luxusně libovolný archiv namountovat jako lokální adresář, ve kterém vidíte "otisk" všech souborů k určenému datu. Takže je například možné si na různé mounty přiřadit deset různě starých archivů o velikosti 100 GB (tedy celkem 1 TB), to vše z jednoho Borg repository o velikosti třeba jen 110 GB.

Kdyby došlo ke katastrofě a všechna lokálně zálohovaná data byla ztracena, obnovování z Backblaze B2 je trochu problematičtější, neboť download více jako 1 GB za den je z B2 je docela hustě placený (tedy, 1 dolar za 100 GB pořád není nějak extra moc, ale je to prostě mnohem víc, než platíte za uploady). Nicméně je možné pomocí rclone lokálně namountovat online úložiště B2, a toto namountované úložiště pak znovu namountovat jako lokální Borg archiv a z něj zkopírovat (tedy vlastně stáhnout) selektivně jen ta nejpotřebnější data.

Doufám, že to nebudu muset nikdy dělat.

Celkově musím říct, že mám příjemný pocit, když takový poměrně složitý a dost specifický problém mohu vyřešit zcela ke své spokojenosti a bez zbytečného utrácení. Spí se mi mnohem lépe, když vím, že je moje porno takhle dobře zálohováno. Kéž by se takto snado daly řešit i jiné problémy!