4
Rsync startet zig Prozesse
Hallo zusammen,
ich schlage mich damit schon eine Weile, aber jetzt frage ich, denn mir gehen die Ideen aus.
Wir haben einen internen Webserver, der jede Nacht /var/www/html/ gesichert haben muss. Dazu habe ich vor gefühlten 100 Jahren mal ein Skript geschrieben, was jede Nacht ausgeführt wird. Es macht eigentlich nichts anderes als per autofs die aktuelle USB-Platte zu mounten, rsync-Zeile auszuführen und die Ergebnisse in Logs zu hinterlassen. Die rsync-Zeile selbst ist recht unspektakulär
Das Skript arbeitet auf mehreren Fileservern an externen Standorten und verrichtet seinen Dienst dort seit Jahren. Nie Probleme!
Anders ist es bei unserem Webserver. Es kommt immer wieder vor, dass Backups, die nachts um 2 per Cron gestartet werden, morgens um 9 immer noch nicht fertig sind. Ein Blick in "top" zeigt dann schon mal 50 oder mehr rsync-Prozesse an. Die "waits" stehen irgendwo bei > 40 und die CPU-Belastung hängt bei 60 und schlimmer. Lasse ich das laufen, so ist das irgendwann am Tag (gern am späten Nachmittag oder nächster Morgen) der Backup fertig. Wegzusichern sind dabei lächerliche 11 Gb bzw. 85.000 Dateien.
Die USB-Platte ist mit USB2 angeschlossen und liefert mit einem Test mit dd 30 Mb/s.
Jemand eine Idee wo ich ansetzen kann?
ich schlage mich damit schon eine Weile, aber jetzt frage ich, denn mir gehen die Ideen aus.
Wir haben einen internen Webserver, der jede Nacht /var/www/html/ gesichert haben muss. Dazu habe ich vor gefühlten 100 Jahren mal ein Skript geschrieben, was jede Nacht ausgeführt wird. Es macht eigentlich nichts anderes als per autofs die aktuelle USB-Platte zu mounten, rsync-Zeile auszuführen und die Ergebnisse in Logs zu hinterlassen. Die rsync-Zeile selbst ist recht unspektakulär
rsync -azc --delete ...
Das Skript arbeitet auf mehreren Fileservern an externen Standorten und verrichtet seinen Dienst dort seit Jahren. Nie Probleme!
Anders ist es bei unserem Webserver. Es kommt immer wieder vor, dass Backups, die nachts um 2 per Cron gestartet werden, morgens um 9 immer noch nicht fertig sind. Ein Blick in "top" zeigt dann schon mal 50 oder mehr rsync-Prozesse an. Die "waits" stehen irgendwo bei > 40 und die CPU-Belastung hängt bei 60 und schlimmer. Lasse ich das laufen, so ist das irgendwann am Tag (gern am späten Nachmittag oder nächster Morgen) der Backup fertig. Wegzusichern sind dabei lächerliche 11 Gb bzw. 85.000 Dateien.
Die USB-Platte ist mit USB2 angeschlossen und liefert mit einem Test mit dd 30 Mb/s.
Jemand eine Idee wo ich ansetzen kann?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 467948
Url: https://administrator.de/contentid/467948
Printed on: April 24, 2024 at 18:04 o'clock
4 Comments
Latest comment
Hi,
was sagt denn das Log, oder die Ausgabe der rsync-Prozesse? Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Grüße
bloody
was sagt denn das Log, oder die Ausgabe der rsync-Prozesse? Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Grüße
bloody
Die wirste ja sicher mit 2>&1 > /var/log/irgendwas.log mitloggen?
Natürlich. 
Es gibt keine Fehler, wenn das Problem nicht auftritt. Wenn es aber auftritt, dann ist mein Backups_Error.log voll mit
rsync: rename "/sicherung/01.07.2019/var/www/html/.../.[datei].gif.ScjBjm" -> "var/www/html/.../[Datei].gif": No such file or directory (2)
Dann gibt es noch rsync-Rückgabewerte 23 und 24. Mehr gibt es nicht.Die Daten werden im Backupzeitfenster nicht verändert. In der Nacht arbeitet bei uns niemand.
Value Desc.
23 Partial transfer due to error
24 Partial transfer due to vanished source files
23 Partial transfer due to error
24 Partial transfer due to vanished source files
Mir ist nicht klar wieso Files "vanishen". Wie gesagt... Alles statisch. Wenn es Änderungen gibt, dann tagsüber, aber nicht in der Nacht. Es gibt auch kein Cronjob der sowas macht.
Hallo,
das Skript wäre hilfreich und der Aufruf im Crontab. Generell ist es aber normal das Rsync mehrere Prozesse startet: https://serverfault.com/questions/547165/why-does-rsync-spawn-multiple-p ...
Das mit "vanished"-Files sind meist temporäre Dateien - auch nachts arbeiten die Dienste auf dem Server weiter.
Aber genaueres kann ich dir nur mit genauem Protokollauszug sagen.
Gruß
bloody
das Skript wäre hilfreich und der Aufruf im Crontab. Generell ist es aber normal das Rsync mehrere Prozesse startet: https://serverfault.com/questions/547165/why-does-rsync-spawn-multiple-p ...
Das mit "vanished"-Files sind meist temporäre Dateien - auch nachts arbeiten die Dienste auf dem Server weiter.
Aber genaueres kann ich dir nur mit genauem Protokollauszug sagen.
Gruß
bloody
Es gibt Tage, die man ersatzlos aus dem Kalender streichen möchte. Ich Hirsch habe einen Fehler in der crontab gemacht, was dazu führt, dass das Script jede Minute von 1 bis 2 ausgeführt wird statt ein mal um 1 Uhr. Quasi * 1 * * * statt 0 1 * * *
Danke für die Hilfsbereitschaft.
Danke für die Hilfsbereitschaft.
