Archives for posts with tag: Script

Langsam wird mein Elektrozoo mit sinnvollen Aufgaben betraut. Der Rasperry Pi im Küchenschrank kümmert sich nicht mehr nur ums Radio (MPD). Kürzlich hatte ich dort die Nextcloud installiert. Marias und mein Handy synchronisieren da hin, so haben wir immer alle Termine im Blick. Die Daten der Cloud habe ich inzwischen auf einer kleinen Festplatte gelagert, da hab ich jetzt ordentlich Platz.

Was mir noch fehlte, ist, dass das Küchenradio auch die Musiksammlung unter der Fuchtel hat und ich außerdem per Cloud drauf zugreifen kann. Besagte Sammlung lungert aber auf der ganz großen Datenschleuder, meinem Debian-Server mirny. Kann man doch gleich den Küchen-Raspi als Backup mit Mehrwert verwenden!

Damit die Musiksammlung auch immer aktuell ist, braucht es ein Sync-Script. Hier müssen gleich ein paar Aufgaben gelöst werden:

Sync
Als erstes muss das Musik-Verzeichnis synchronisiert werden, es reicht, wenn das Verzeichnis kopiert wird und es eine Sperre gegen versehentliches Löschen gibt. Dafür nehme ich rsync:
/usr/bin/rsync -xltbr –delete –backup-dir=/nextcloud-data/gelöscht –rsh=’ssh’ \
–exclude-from=/opt/nextcloud/rsync-exclude swg@mirny:/Musikverzeichnis/ /nextcloud-data/Musik

Ein paar Erklärungen zu den Optionen seien hier noch gegeben

  • -l copy symlinks as symlinks
  • -t preserve modification times
  • -x berücksichtigt nur Objekte, die sich im gleichen Dateisystem befinden
  • –rsh wählt die remote shell aus, die meisten werden SSH nutzen. Also -e ssh
  • –delete vergleicht Quellverzeichnisse und Zielverzeichnisse und sorgt dafür, dass Dateien, die im Quellverzeichnis nicht (mehr) vorhanden sind, im Zielverzeichnis gelöscht werden. Dies kann dazu führen, dass man ungewollt Dateien löscht, die man aber noch in der Sicherung behalten möchte.
  • -b sorgt dafür, dass durch die Option –delete gelöschte sowie alle veränderten Objekte gesichert werden (siehe dazu folgende Option –backup-dir=)
  • –backup-dir=Verzeichnis gibt ein Verzeichnis für die gelöschten und geänderten Objekte an, siehe Option -b
  • -r –recursive
  • –exclude-from=Datei die Datei enthält eine Liste auszuschließender Muster

rsync kopiert immer alles aus dem Musik-Verzeichnis von mirny. Wenn eine Datei auf mirny nicht mehr da ist, wird sie auf dem Küchen-Raspi in ein Verzeichnis für gelöschte Dateien verschoben. So hab ich noch eine Kontrolle über das, was so verschwindet. Wogegen es nicht hilft, ist ein schleichender Defekt der Platte, kaputte Dateien werden auch im Backup kaputt sein.

Der Inhalt der exclude-Datei sieht bei mir so aus:
– .*
– upload

Es sind alle versteckten Dateien und Verzeichnisse ausgeschlossen, und was upload heißt.

Aufwachen!
Aus Gründen läuft mirny nicht durch. Die eeeBox ist eher schlecht entwärmt, woran die ION-Grafik die Hauptschuld trägt. Außerdem will ich die große Platte schonen, die soll nicht dauerlaufen. Naja und letzten Endes muss ich den Strom ja auch bezahlen. Mirny hat einen Mechanismus, der ihn ohne äußeren Zugriff nach ca. 20 min in den Suspend schickt. Wenn das Backup laufen soll, muss mirny also geweckt werden: etherwake hilft. Ob mirny läuft, teste ich mit nc auf einen aktiven ssh. Fünf Versuche in einer Schleife sollten fürs Wecken reichen:
MIRNY_AWAKE=0
wakeup_mirny()
{
_RETRY=5
while (( RETRY > 0 ))
do
# Test, ob mirny per ssh erreichbar ist
/bin/nc -z -w1 mirny > /dev/null
if [ $? -eq 0 ]
then # ja fertig!
RETRY=0
MIRNY_AWAKE=1
else # nein: mirny wecken
/usr/sbin/etherwake -i eth0 aa:bb:cc:dd:ee:ff
/bin/sleep 5
((RETRY–))
fi
done
}

Das ganze als bash-Funktion mit einem Rückgabewert MIRNY_AWAKE, obs geklappt hat.

Berechtigung & Index
Damit die Nextcloud wirklich auf die Musik zugreifen kann, müssen die Dateien für den www-data Benutzer zugreifbar sein. Nach dem rsync ist also die Besitzübernahme mit chown -R fällig.
chown -R www-data:www-data /nextcloud-data/Musik

Das die Daten im richtigen Verzeichnis liegen, ist nur die halbe Miete. Im Webinterface sieht man sie erst, wenn sie auch in der Datenbank indiziert stehen. Dafür muss im Installationsverzeichnis der nextcloud manuell gesorgt werden:
/usr/bin/php occ files:scan –all

Script
Als ganzes Script ergibt sich dieses schöne Bild:

#!/bin/bash
MIRNY_AWAKE=0
LOGGER=”/usr/bin/logger”
#
wakeup_mirny()
{
RETRY=5
while (( RETRY > 0 ))
do
$LOGGER “music backup: check mirny!”
# Test, ob mirny per ssh erreichbar ist
/bin/nc -z -w1 mirny > /dev/null
if [ $? -eq 0 ]
then # ja fertig!
$LOGGER “music backup: mirny is awake!”
RETRY=0
MIRNY_AWAKE=1
else # nein: mirny wecken
$LOGGER “music backup: waking mirny…”
/usr/sbin/etherwake -i eth0 aa:bb:cc:dd:ee:ff
/bin/sleep 5
((RETRY–))
fi
done
}
#
$LOGGER “music backup: Starting backup…”
wakeup_mirny
if [ $MIRNY_AWAKE -eq 0 ]
then
$LOGGER “music backup: Failed to wake mirny! Backup failed!”
exit 1
fi
/usr/bin/rsync -xltbr –delete –backup-dir=/nextcloud-data/gelöscht –rsh=’ssh’ \
–exclude-from=/opt/nextcloud/rsync-exclude \
swg@mirny:/Musikverzeichnis/ /nextcloud-data/Musik
if [ $? -eq 0 ]
then
$LOGGER “music backup: rsync successfully done!”
/bin/chown -R www-data:www-data /nextcloud-data/Musik
cd /var/www/nextcloud
# Das folgende muss als www-data laufen, sonst ist das nicht erlaubt!
$LOGGER “music backup: updating nextcloud index…”
/usr/bin/sudo -u www-data /usr/bin/php occ files:scan –all
$LOGGER “music backup: successfully done!”
else
$LOGGER “music backup: rsync error! Backup failed!”
fi
exit 0;

Das Script lasse ich per cron mit dem Nutzer root einmal die Woche laufen. Mit dem Logger ist dafür gesorgt, dass ein paar nachvollziehbare Meldungen im syslog landen.

Jetzt muss ich den MPD noch mit dem Musik-Verzeichnis bekannt machen, dann hab ich meine Musik nicht nur immer im Zugriff, sondern kann sie auch in der Wohnung direkt hören.

Wenn ihr das Script nutzen wollt, passt bitte bei etherwake Netzwerkinterface und MAC an, und ihr müsst natürlich alle Verzeichnisse, aus und zu denen ihr kopieren wollt, korrigieren. Wenn in Eurem Netzwerk Namen nicht in IPs aufgelöst werden, setzt einfach die (fest vergebenen) IPs ein.

(swg)

Prinzipiell halte ich mich ja von den sozialen Netzwerken und den großen Datenkraken fern. Weder hab ich facebook, noch irgend einen seiner einkassierten Ableger. Auf google hab ich eine Mailadresse (für Müll), aber google+ hab ich nie benutzt. Tut auch sonst kaum jemand, weswegen google den Krams jetzt abschaltet.

Was ich wirklich benutze, ist der google-Account mit Youtube. Was man da sonst als “trending” angezeigt bekommt, spottet jeder Beschreibung. Ich brauch echt meine Filterblase.

Und dann wäre da noch der Kalender. Google kennt jeden unserer Termine. Es ist ja auch unglaublich einfach zu nutzen, zu syncen und mit dem Webinterface hat man immer und überall Zugriff, auch ohne Handy. Ein Dorn im Auge ist mir das trotzdem schon lange: Googles wegen.

Aber wie ändern? Eine komplette Owncloud installieren? Gedacht hab ich das vor ein paar Jahren schon. Etwas Recherche zeigte erstmal, dass das nicht komplett freie Software ist und es schien auch massig Probleme zu geben. Neue Probleme brauchte ich nicht. Also blieb erstmal alles, wie es war.

Neulich hat Roman mir dann was empfohlen: Baikal. Das synchronisiert als Zentrale alle Kalender per Caldav und benötigt selbst kaum Ressourcen. Was mir dennoch fehlt, ist ein Webinterface. Das ist schon irgendwie Pflicht, meine Termine will ich nicht nur im Handy zurecht frickeln.

So’ne richtige Cloud wäre ja schon cool, so mit Dateiablage, Kontakten und dem Kalender natürlich. Inzwischen wurde Owncloud von einem der Gründer geforkt. Nextcloud ist komplett freie Software und es gibt ‘ne Menge Tutorials, sogar für den Raspberry Pi.

Mein Raspi in der Ladestation im Küchenschrank ist damit wohl aber überfordert, das ist noch ein 2B+. Als Küchenradio und WLAN-AP im Hof reicht er, für mehr aber auch nicht. Ein 3B+ ist schnell bei Conrad geholt. Zwei Tage Kind-krank spielen mir in die Hände, dann ist alles installiert (ganz frei von Stolperfallen ist das nämlich trotz aller Tutorials nicht). Bei Strato richte ich noch eine Dyndns-Subdomain ein und der Zugriff von außen klappt auch.

Damit ist der Google-Kalender nun endlich Geschichte.

(swg)

Beim Kopieren von Fotos stimmt oft das Dateidatum nicht mehr. Manchmal, weil Samba das Datum nicht zurückdatiert, oder weil beim versenden über Bluetooth das Dateidatum beim Erstellen auf dem Rechner aktuell gesetzt wird. Blöd ist das, weil mein Bildbetrachter geeqie nur nach Dateidatum sortieren kann, aber nicht nach Exif-Datum. Selbst geeqie versaut das Datum der Datei, wenn man den Bildinhalt dreht.

Dafür hab ich wieder was gebastelt: Per Script wird aus den Dateien das Erstellungsdatum gelesen und neu gesetzt. Zum Lesen braucht man die exif-tools, zum Setzen des Dateidatums touch -d.

#!/bin/bash
# swg, 6.1.2014
#
# Dateierstellungsdatum auf das in EXIF gespeicherte Datum setzen
# erwartet als Parameter wenigstens eine Bilddatei!
#
ARGS=$@
for JPG in “$ARGS”; do
DATETIME=$(exiftool -DateTimeOriginal -s -s -s -d ‘%F %H:%M:%S’ “$JPG”);
touch -d “$DATETIME” “$JPG”;
done

Es lassen sich beliebig viele Dateien übergeben. Wie immer hab ich das Script ins Kontextmenü von geeqie genagelt. Klappt Super.

(swg)

Fürs Bloggen brauch ich immer ewig. Vor allem Bilder Aufbereiten frisst dabei unheimlich Zeit. Macht man das mit Gimp oder ähnlichem wird man drüber adelig. Und man macht dabei eigentlich jedes Mal das Selbe: Bild skalieren, schärfen, benennen – und eventuell nochmal ‘ne größere Version davon mit dem Selben Spielchen. Jaja, ich könnts auch WordPress machen lassen. Unterwegs mit UMTS kommt es aber eher nicht so gut, 10 MP-Bilder hochzuladen. Der Traffic kostet, mein Volumen beträgt gerade mal 150 MB pro Monat – ich bin halt geizig.

Wenn man eh immer das Selbe macht, könnte das doch auch der Rechner selber machen, oder? Zeit für ein Bash-Script! Das hab ich schon vor fast drei Jahren gedacht und mir einen kleinen Helfer gebastelt und getauft: IMG-Helpr. Das Ding war hemdsärmelig zusammengebappt:

  • Imagemagicks display zeigt eine Vorschau des Bildes,
  • Zenity zeigt grafische Dialoge für die Frage nach dem Namen, der eventuellen Drehung und ob man ne große Version zum Verlinken will und
  • Imagemagicks convert skaliert das Bildchen dann.

Sieht dann so aus (habich montiert, die Dialoge kommen natürlich nacheinander).Sowas zu schreiben ist recht unkompliziert, wenn man das auf dem eigenen Rechner benutzt. Will man so ein Script aber auf Fremde loslassen, muss man um alles herumprogrammieren. Man glaubt nicht, was Anwender sich an Dreistigkeiten ausdenken können! Dateinamen mit Leerzeichen zum Beispiel. Deswegen hab ich das Teil heute mal etwas zivilisiert und forsch Version 0.1 behauptet. Jetzt erstmal viel Spaß mit meinem kleinen Blogger-Helferlein IMG-Helpr. Über so ein paar Detaillösungen schwatze ich später mal in diesem Blog.

(swg)