5
Mehrere Dateien gleichzeitig auf einen Host übertragen
Hallo da draußen!
Für diese Frage muss ich ein bisschen ausholen:
Ich muss täglich 5-10 große Dateien (3-5GB) auf unseren Host bei all-inkl kopieren. Dafür haben wir seit kurzem einen FTTH Zugang mit "40 Mbit Upload". Laut Support von all-inkl schafft der Host den Empfang von etwa 70-80Mbit/sek. Ich komme beim Upload aber nie über 7,5Mbit/sek für eine einzelne Datei; erst beim gleichzeitigen Upload von 6 oder mehr Dateien erreiche ich etwa 36Mbit/sek. Getestet mit WinSCP und FileZilla unter W10 und Mint. Meine Versuche, den Provider des FTTH-Zugangs (Pyur) zu einer brauchbaren Antwort zu bewegen, sind bislang gescheitert.
Da die Dateien über den Tag verteilt erzeugt werden, und dann möglichst schnell auf den Host sollen, kam ich auf die Idee, die großen Dateien in 6 Stücke zu schneiden, diese danach gleichzeitig zu übertragen und auf dem Host wieder zusammen zu fügen.
Aber mir will es einfach nicht gelingen, mit pscp oder psftp (putty) mehrere Dateien gleichzeitig zu senden. Sowohl put als auch mput übertragen die Dateien immer hübsch der Reihe nach. Mit Paramiko (Python) bin ich bislang auch nicht weiter gekommen.
Hat jemand einen Tipp für mich, oder muss ich wirklich mehre Putty Sessions gleichzeitig laufen lassen?
Danke für's Lesen, Tussi
Für diese Frage muss ich ein bisschen ausholen:
Ich muss täglich 5-10 große Dateien (3-5GB) auf unseren Host bei all-inkl kopieren. Dafür haben wir seit kurzem einen FTTH Zugang mit "40 Mbit Upload". Laut Support von all-inkl schafft der Host den Empfang von etwa 70-80Mbit/sek. Ich komme beim Upload aber nie über 7,5Mbit/sek für eine einzelne Datei; erst beim gleichzeitigen Upload von 6 oder mehr Dateien erreiche ich etwa 36Mbit/sek. Getestet mit WinSCP und FileZilla unter W10 und Mint. Meine Versuche, den Provider des FTTH-Zugangs (Pyur) zu einer brauchbaren Antwort zu bewegen, sind bislang gescheitert.
Da die Dateien über den Tag verteilt erzeugt werden, und dann möglichst schnell auf den Host sollen, kam ich auf die Idee, die großen Dateien in 6 Stücke zu schneiden, diese danach gleichzeitig zu übertragen und auf dem Host wieder zusammen zu fügen.
Aber mir will es einfach nicht gelingen, mit pscp oder psftp (putty) mehrere Dateien gleichzeitig zu senden. Sowohl put als auch mput übertragen die Dateien immer hübsch der Reihe nach. Mit Paramiko (Python) bin ich bislang auch nicht weiter gekommen.
Hat jemand einen Tipp für mich, oder muss ich wirklich mehre Putty Sessions gleichzeitig laufen lassen?
Danke für's Lesen, Tussi
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 399681
Url: https://administrator.de/contentid/399681
Printed on: April 16, 2024 at 13:04 o'clock
5 Comments
Latest comment
Moin,
die Datei splitten würde ich nicht empfehlen.
Das kann zu Problemen führen.
Ich würde einfach 3-5 Datein gleichzeitig über tragen. Dem entsprechend bei Filezilla dieses zu lassen.
Das ganze geht auch über andere Tools wie Robocopy usw.
Gruß
Spirit
die Datei splitten würde ich nicht empfehlen.
Das kann zu Problemen führen.
Ich würde einfach 3-5 Datein gleichzeitig über tragen. Dem entsprechend bei Filezilla dieses zu lassen.
Das ganze geht auch über andere Tools wie Robocopy usw.
Gruß
Spirit
Moin,
der Total Commander kann das. Sowieso das Tool der Wahl, wenn es um Dateioperationen aller Art geht. Damit kannst Du den ersten Upload anstoßen, in den Hintergrund schieben und den nächsten starten. Dann laufen die parallel. Teuer ist das Teilchen auch nicht. Ich meine, es waren 40 Schweizer Franken.
hth
Erik
der Total Commander kann das. Sowieso das Tool der Wahl, wenn es um Dateioperationen aller Art geht. Damit kannst Du den ersten Upload anstoßen, in den Hintergrund schieben und den nächsten starten. Dann laufen die parallel. Teuer ist das Teilchen auch nicht. Ich meine, es waren 40 Schweizer Franken.
hth
Erik
Das commandozeilentool LFTP macht das: https://www.cyberciti.biz/tips/linux-unix-download-accelerator.html
Ansonsten sind filetransfers über ssh und leitungen mit langen RTTs eher langsam - da gibts aber gepatchte versionen für high performance bereiche: https://www.psc.edu/hpn-ssh
Diese Version muss aber selbst aus dem Quellcode kompilieren
Ansonsten sind filetransfers über ssh und leitungen mit langen RTTs eher langsam - da gibts aber gepatchte versionen für high performance bereiche: https://www.psc.edu/hpn-ssh
Diese Version muss aber selbst aus dem Quellcode kompilieren
Hallo,
also was ich im Kopf habe kannst du mehrere winscp sessions parallel laufen haben.
Was hindert dich also daran einfach winscp mit entsprechenden Parametern mehrfach auszuführen?
Was noch zu beachten ist, bei Verwendung von SFTP im Gegensatz zu FTP kann es zu geringeren Geschwindigkeiten aufgrund der Verschlüsselung kommen.
also was ich im Kopf habe kannst du mehrere winscp sessions parallel laufen haben.
Was hindert dich also daran einfach winscp mit entsprechenden Parametern mehrfach auszuführen?
Was noch zu beachten ist, bei Verwendung von SFTP im Gegensatz zu FTP kann es zu geringeren Geschwindigkeiten aufgrund der Verschlüsselung kommen.
Problem gelöst 
Paramiko.SSHClient stellt den ssh Zugang bereit und Multiprocessing.Process läd die Teile der Datei gleichzeitig auf den Host. Split und Join sind Python-Kleinkram. Das Skript ist etwa 5% langsamer als gleichzeitiger Upload mit filezilla, aber dafür spare ich das händische Zerlegen und Joinen der Datei ein. Der Upload ist jetzt etwa 6 mal so schnell wie vorher und braucht erheblich weniger Klicks.
Paramiko.SSHClient stellt den ssh Zugang bereit und Multiprocessing.Process läd die Teile der Datei gleichzeitig auf den Host. Split und Join sind Python-Kleinkram. Das Skript ist etwa 5% langsamer als gleichzeitiger Upload mit filezilla, aber dafür spare ich das händische Zerlegen und Joinen der Datei ein. Der Upload ist jetzt etwa 6 mal so schnell wie vorher und braucht erheblich weniger Klicks.