Tanneks site of Life - Linux-Tools

Festplatten-Sektoren bei USB-SATA Gehäusen

nospam@example.com (Tannek) — Mon, 31 Dec 2018 18:26:00 +0000

Der Witz zu diesem Thema schreibt sich wie von selbst - "2013 hat angerufen und will seine USB-Gehäuse wieder". Manch einer erinnert sich an die Zeit, als man die neuen SATA-Festplatte aus dem PC ausgebaut in ein USB-Gehäuse steckte und - zack - es ging nichts. Die Partitionen wurden mit zig Terrabyte Kapazität angezeigt, liessen sich aber nicht mounten. Man kam nicht mehr an die Daten ran.

Die Ursache damals waren die neuen Festplatten, welche mit 4096-Byte Sektoren sich direkt per SATA verbunden an der Southbridge meldeten. Die USB-Gehäuse waren aber auf die alten Festplatten mit 512-Byte Sektoren eingestellten und nahmen diesen Wert auch sturr bei den neuen Festplatten an. Dadurch waren die Werte in der Partitionstabelle um den Faktor 8 (4096 statt 512er Sektoren) zu gross. Dazu kam dann noch die Umstellung von MBR auf GPT, wobei Tools (fdisk) noch kein GPT konnten. Es blieb also Taschenrechner und "hexedit /dev/sda"... Das Chaos war also perfekt!

Jetzt haben wir 2018 und Festplattengeometrie ist mir ein wenig in Vergessenheit geraten. Zum Testen von meinem neuen NAS baue ich drei Notebookfestplatten in USB-Gehäuse, formatiere am PC darauf Raid,lvm,crypto und baue sie ins NAS. Das NAS erkennt aber nicht ein einziges Raid, sondern viele (md7, md126,md127,...) und synct fröhlich los (sic!). Also Festplatten wieder in USB-Gehäuse, PC an und auch am PC kein funktionierendes raid mehr!? Auch zu Fuss das raid zusammenbauen ging nicht:



$ mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1

mdadm: no recogniseable superblock on /dev/sdc1

mdadm: /dev/sdc1 has no superblock - assembly aborted

Also sda1 und sdb1 haben ihren Superblock noch (!), aber sdc1 hat seinen verloren? Festplatte kaputt? Ne, S.M.A.R.T.-Werte alle OK. Also wieder raid am PC gebaut und ins neue NAS und wieder zurück:



$ mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1

mdadm: no recogniseable superblock on /dev/sdb1

mdadm: /dev/sdb1 has no superblock - assembly aborted

$ mdadm --assemble /dev/md0 /dev/sda1 /dev/sdc1 /dev/sdb1

mdadm: no recogniseable superblock on /dev/sdb1

mdadm: /dev/sdb1 has no superblock - assembly aborted

Also jetzt hat nur sdb1 seinen Superblock nicht mehr? Als dann Schächte tauschen am NAS keine Änderung brachte, habe ich mit den unterschieden Gehäusen mir sdb1 angeschaut:



$ #USB-3.0-Gehäuse

$ fdisk -l /dev/sdb

Festplatte /dev/sdb: 93,2 GiB, 100030242816 Bytes, 24421446 Sektoren

Einheiten: Sektoren von 1  4096 = 4096 Bytes

Sektorgröße (logisch/physikalisch): 4096 Bytes / 4096 Bytes

E/A-Größe (minimal/optimal): 4096 Bytes / 268431360 Bytes

Festplattenbezeichnungstyp: dos

Festplattenbezeichner: 0xc9093972



Gerät      Boot Anfang     Ende Sektoren Größe Kn Typ

/dev/sdb1        65535 24421445 24355911 92,9G fd Linux raid autodetect

$ #USB-2.0-Gehäuse

$ fdisk -l /dev/sdc

Festplatte /dev/sdc: 93,2 GiB, 100030242816 Bytes, 195371568 Sektoren

Einheiten: Sektoren von 1  512 = 512 Bytes

Sektorgröße (logisch/physikalisch): 512 Bytes / 512 Bytes

E/A-Größe (minimal/optimal): 512 Bytes / 512 Bytes

Festplattenbezeichnungstyp: dos

Festplattenbezeichner: 0xc9093972



Gerät      Boot Anfang     Ende Sektoren Größe Kn Typ

/dev/sdc1        65535 24421445 24355911 11,6G fd Linux raid autodetect

Was war passiert?

Während das alte USB-2.0-Gehäuse 512-byte Sektoren an meinem PC angezeigt hat, hat das neue USB-3.0-Gehäuse 4096-byte Sektoren angezeigt. Die Festplatte aus dem USB-3.0-Gehäuse hat also eine Partitionstabelle auf 4k Sektoren bekommen und die im USB-2.0-Gehäuse Partitionstabellen auf Basis von 512-byte Sektoren.

Bei Festplatten und USB-Gehäusen muss man also immer nochmal ein Blick auf die Sektoregroesse werfen und alte Festplatten (kleiner 2TB?) nicht in neue (USB-3.0-)Gehäuse bauen!

Neues Raid, Neues Glück: 4k Disk Alignment mit RAID, dmcrypt, LVM und ext4

nospam@example.com (Tannek) — Sat, 30 May 2015 09:40:35 +0000

Die 4k-Blöcke Problematik ist ja nichts neues, da mich das aber einen
langen Abend googlen und man-pages lesen gekostet hat fasse ich mal
zusammen.

Das Problem hat am Beispiel einer InnoDB Mikalauskas in diesem Blogpost
ausführlichst erklärt. Im Bild dazu wird deutlich, warum man auf jeder
Schicht (RAID,LVM,..) auf das richtige alignment achten muss:

Außerdem lässt sich erahnen, warum beim Filesystem auf einem RAID5 die Aufteilung der Strides und Stripes eine wichtige Rolle spielen. Aber dazu später.

Bevors ans Einrichten geht, muss man sich Überlegen in welcher Reihenfolge man RAID,dmcrypt und LVM aufeinaner stapelt.
Ich habe mich bei meiner Konfiguration für folgendes Vorgehen entschieden:

Burn-In. Klingt übertrieben, aber ich kenne da wen der nach einer Datenrettung auf ein neue Platte nochmals Daten retten musste..

Da nicht jede 4TB Festplatte exakt 4TB groß ist, sollte man zu erst eine Partition erstellen die ein tick kleiner ist (parted -a optimal aligned automatisch).

Dann kommt das RAID5. Entgegen diverser Anleitungen geht das mit dem 4k Alignment auch bei Superblock-1.2 (default).

Dann LVM mit alignment.

dmcrypt (mit --align-payload=8192 und auf embedded Geräten mit -i 10000)

ext4 mit je nach Anzahl der Platten im Raid5 passenden Stripes und strides.

Am Ende sollte man das ganze nochmal Überprüfen und macht am besten noch einen Benchmark mit hdparm -tT oder bonnie++ und vergleicht das Ergebnis.

Sicherheit von LUKS

nospam@example.com (Tannek) — Sun, 18 Aug 2013 17:27:19 +0000

Ich stolpere mit der Tuer mal direkt ins Haus:

Bruteforce auf der GPU ist schnell & Cryptcontainer erstellt auf langsamen CPUs sind unsicherer.

Das unter Linux weit verbreitete Harddrive-verschluesselstool cryptsetup nutzt um aus einem Password ein Schluessel zu machen die aufwendige Hashfunktion PBKDF2.
Auf dem gleichen Hashverfahren basieren auch viele andere Sachen wie 1Password, WPA oder auch TrueCrypt. Und genau zu letzterem hat der Programmierer hinter ocl-hashcat jetzt Zahlen zu GPU-basierten Bruteforce Angriff veroeffentlicht:

PBKDF2-HMAC-RipeMD160 / AES: 223 kHash/s

PBKDF2-HMAC-SHA512 / AES: 95 kHash/s

Damit ist TrueCrypt im worstcase bei 8-stelligen Kleinbuchstaben-Passwoertern in wenigen Tagen geknackt.

Auf LUKS (dm-crypt/cryptsetup) ist dies uebertragbar:

Die Schwierigkeit und damit die Geschwindigkeit von PBKDF2 wird durch die Anzahl der Runden/Iterationen festgelegt.

TrueCrypt hat (nach meiner Recherche) fest 1000 Iterationen.

Bei LUKS ist dies is laut Wikieintrag bei Default=10, wird aber von cryptsetup beim erzeugen des Containers von der CPU-Geschwindigkeit abhaengig festgelegt. Ein schneller Rechner erzeugt also ein sicheren Container, als ein langsamer. Mein DualCore Notebook erzeugt 63758 Iterations; auf einem P4 komm ich nur auf 45212. Selbst auszulesen ist dies durch:
```
# cryptsetup luksDump /dev/sda
```
Und dann auf die Zeile: "Iterations:" achten.

Das von LUKS bei PBKDF2 eingesetzte Hash-Verfahren kann laut Wikieintrag RipeMD160 oder SHA1 sein.
Alle meine Container nutzen SHA1. Ebenfalls durch oben erwaehnten Befehl selbst nachschlagbar.
Da von atom nur SHA512 implementiert wurde, kommen fuer eine Umrechnung von SHA512 Hashs/s nach SHA1 Hashs/s der PC3 (der wohl auch fuer die TrueCrypt-Benchmarks benutzt wurde) aus der Tabelle von Hashcat selbst. 3081/152 ist ungefaehr 20. Was bedeutet, dass SHA1 20x so schnell wie SHA512 berechnet werden kann.

Fuer den Container auf meinem Notebook kann man nun folgende Geschwindigkeit abschaetzen:

1000/63758 x 20 x 95k Hashs /s = 29,8 k Hashs/s

Was fuer ein 8-stelliges Kleinbuchstaben-password 80Tage bedeutet.

Bei der Default-Einstellung von 10-Iterationen hingegen:

1000/10 x 20 x 95k Hashs /s = 190 000 k Hashs/s

Was fuer 8-stellige Kleinbuchstaben 18 Minuten, fuer 8-stellige Klein/Gross/Zahlen/Sonderzeichen 1,2 Jahre bedeutet.

Da ich leider keine alten Cryptcontainer zur Hand habe, kann ich nicht beurteilen welche Werte realistisch da drin stehen. Kann aber nur davon abraten kurze Passwoerter zu benutzten. Denn der Entwickler von ocl-hashcat nutzt auch Linux. Es ist also nur eine Frage der Zeit, bis das Tool auch LUKS angreifen kann.

Inbox~ bei Thunderbird

nospam@example.com (Tannek) — Sun, 28 Oct 2012 10:18:34 +0000

In meinem Thunderbird-Ordner befindet sich eine grosse, alte Kopie meiner Inbox:



--- /home/user/.thunderbird/ug1abcda.default/Mail/mail.domain.org ----------------------------------------------------------------

-rw------- 1 user user 1,1G Okt 28 11:12   [##########]  Inbox                                                                                                                                                                                                                                                      

-rw------- 1 user user 438M Mai  6 19:04   [####      ]  Inbox~

[...]

Woher kommt aber diese Inbox~ Datei?

Nach einer kurzen Suche bei google musste ich feststellen, dass google Tilden ignoriert in der Suchmaske.
Auch yahoo macht das.

Nachdem Thunderbird auch mit ohne dieser Datei in diesem Verzeichnis lief, habe ich sie geloescht.

Woher die kommt ist mir aber immernoch unklar hmpf

Parameterreihenfolge bei vnstat

nospam@example.com (Tannek) — Mon, 15 Oct 2012 08:20:06 +0000

Ich musste gerade feststellen, dass es darauf ankommt in welcher Reihenfolge man die Option '-u' an vnstat uebergibt, damit er ein neue database erstellt:



root@tux:~# vnstat -i eth0 -u

Error: Unable to read database "/tmp/vnstat/eth0".

root@tux:~# vnstat -u -i eth0

Error: Unable to read database "/tmp/vnstat/eth0".

Info: -> A new database has been created.

Und das obwohl die Manpage die obere (falsche) Reihenfolge vorgibt:



SYNOPSIS

       vnstat  [  -Ddhlmqrstuvw?   ]  [  --cleartop  ] [ --config file ] [ --days ] [ --delete ] [ --dbdir directory ] [ --debug ] [

       --disable ] [ --dumpdb ] [ --enable ] [ --help ] [ --hours ]  [ -i interface ]  [ --iface interface ] [  --iflist  ]  [  --live

       mode  ]  [  --locale  locale  ]  [  --longhelp  ] [ --months ] [ --nick nickname ] [ --oneline ] [ --query ] [ --rateunit ] [

       --rebuildtotal ] [ --reset ] [ -ru ] [ --savemerged ] [ --short ] [ --showconfig ] [ --style number ] [ --sync ] [ --testker?

       nel ] [ --top10 ] [ -tr time ] [ --traffic time ]  [ --update ]  [ --version ] [ --weeks ] [ --xml ]





Die Reihenfolge in den Beispielen  (es gibt Beispiele in der manpage <3 ) ist aber zum Glueck richtig :)

Nervige IO-Waits beheben

nospam@example.com (Tannek) — Sun, 29 Jul 2012 12:21:25 +0000

Obwohl es nichtmehr so ganz aktuell ist, hier die Befehle um den scheduler zu aendern:

Mein alter schedular war cfq:



root@pc:~# cat /sys/block/sda/queue/scheduler

noop anticipatory deadline [cfq]

Dann den neuen setzten und angucken, obs geklappt hat:



root@pc:~# echo anticipatory > /sys/block/sda/queue/scheduler

root@pc:~# cat /sys/block/sda/queue/scheduler

noop [anticipatory] deadline cfq

Clipboard als Tastatureingabe

nospam@example.com (Tannek) — Sun, 22 Jan 2012 20:46:42 +0000

Manche Tools oder Websiten benoetigen einen Text eingegeben per "keypress" von der Tastatur.

Um diesen dennoch einen kopierten Text unterzujubeln, hier ein kleines Script von mir:

#!/usr/bin/python

import os

import virtkey

import time



def presskey(keyName):

        vk.press_unicode(ord(keyName))

        vk.release_unicode(ord(keyName))



vk=virtkey.virtkey()



time.sleep(2)



for c in os.popen('xsel').read():

        presskey(c)

Ihr muesst dafuer die pakete python (evt. python-dev) und xsel installiert haben. Haf Vun!

Ubuntu update auf 11.10

nospam@example.com (Tannek) — Sat, 29 Oct 2011 18:16:05 +0000

Samstag nichts zu tun? Perfekt fuer ein update aufs neue Ubuntu! Ist doch sicherlich Idioten sicher... dacht ich mir.

Leider hatte der idiotensichere Aktualisierungsmanager vergessen, dass /boot volllaufen kann und war der Meinung, dass das updaten des initramfs so kritisch waere, dass er irgendwie versucht hat die Installation rueckgaenging sic zu machen bzw. dann einfach wegzusterben. Natuerlich hat er dabei mich mit paar Paketen zu wenig zurueck gelassen und komplett gnome mitgenommen beim sterben.

Also: Neustart.. Hilft doch sonst immer!

Danach befand ich mich in einer ~~schicken~~ schlichten Unity-Oberflaeche, der aber die Symbole und die Windowdecoration (die kommt wohl von Compiz?) fehlten. Diese 'neue' Oberflaeche bedeutet aber mehr Klicken, weniger blinkende Applets und keine/schlechte Konfiguration.. da kann ich mir ja gleich Fluxbox installieren! Also geguckt wie ich das "gute, alte" gnome wiederbekommen:

aptitude install gnome-session-fallback

Danach alle Applets wieder zusammen gesucht, die ganze 3D-Optik reduziert und alle hotkeys wieder eingerichtet. Jetzt laeufts wieder.. aber ob ich das beim naechsten Ubuntu-update immernoch machen kann? Naja.. man wird sehen.

Commander unter Linux

nospam@example.com (Tannek) — Fri, 09 Sep 2011 13:59:00 +0000

Nachdem ich schon die Hoffnung auf einen File-Commander fuer Linux, der so ist wie der TotalCommander unter Windows/Android *hint*, abgeschrieben hatte, habe ich mich letzte Woche irgendwann doch nochmal dazu verleiten lassen genauer zu suchen und auszuprobieren.

Liste der getesteten Programme:

Total Commander (mit wine)
Gnome Commander
mc (MidnightCommander)
bsc (BSCommander)
gentoo
Krusader

Total Commander

Kein Fotrschrittsbalken bei Dateioperation (wegen wine, springt von 0% auf 100%)
Haengt fuer ein paar Sekunden, wenn man eine sehr grosse Datei verschiebt/kopiert

Gnome Commander

Kein Fortschrittsbalken bei Dateioperationen(verschieben/kopieren) mit Ordnern (springt von 0% auf 74200% )
Haengt manchmal fuer ne Sekunde
Bietet keine Warteschlange fuer Dateioperation
Keine Tabs !?

MidnightCommander

F<#> - paar Tasten von meinem Terminal geklaut.. ob ich das umstellen mag..humm
Viele neue Tastenkombinationen zu lernen.. Dabei hatte ich doch gerade auf ne einfache GUI gehofft
Kein Seperates Kopierfenster, keine leicht zu erkennenden Icons .. halt alles in einer Konsole
Keine Tabs!?

BSCommander

Keine Warteschlange = Kopieren blockiert sogar das Hauptfenster
Kein Rechtsklickmenue (nur select)
Keine Zusatzfunktionen wie diff,md5,...

gentoo

Keine Warteschlange
Bis ich das konfiguriert habe, habe ich auch die mc - hotkeys gelernt
keine Tabs

Krusader

Leicht ueberladene GUI - total Bunte, aber nichts aussagende Icons
Will irgendwelche KDE Tools (KRename,KDif,..) mit installieren und nutzen

Ich werde jetzt Krusader vorerst nutzten, weil das die Funktionen weshalb ich einen Filemanager nutzte bietet... Falls mir das doch noch um die Ohren fliegt, poste ich natuerlich hier ein update.. : )

Beim updaten komische init-nospaceleft-fehlermeldungen?

nospam@example.com (Tannek) — Sat, 16 Jul 2011 19:16:42 +0000

Es ist schon wieder passiert!

Beim System-updaten flogen Fehlermeldung mit "no space left" an mir vorbei.. An Platz mangelt es aber nicht auf / . Aber auf /boot waren nur noch paar MB frei. Nicht genuegend fuer einen neuen Kernel (der mind. 25MB mit initramfs,vmlinuz,usw braucht)!

Also nachgeguckt welche Kernel ich installiert habe:

dpkg -l linux-image*

Dann die aeltesten auswaehlen und per

aptitude remove linux-image-...

deinstallieren. Nun sollte mehr Platz auf /boot vorhanden sein. Danach das nicht vollstaendige gebaute initramfs neubauen. Am besten einfach das neueste Kernel-Paket neu-installieren:

aptitude reinstall linux-image-...

Viel Erfolg!

UPDATE 24.1.2012:

Ich hab im Internet auch den Tipp gefunden, folgendes in einer root-shell auszufuehren:

dpkg -l 'linux-*' | sed '/^ii/!d;/'"$(uname -r | sed "s/\(.*\)-\([^0-9]\+\)/\1/")"'/d;s/^[^ ] [^ ] \([^ ]*\).*/\1/;/[0-9]/!d' | xargs sudo apt-get -y purge