DL/up-tool

moin moin.

zwei Dinge sind mir hier vor allem aufgefallen:

• die armen sauger können nicht überprüfen, ob der DL in Ordnung und vollständig war
• die armen upper müssen neu/anders packen bzw host-spiegeln, weil RS et al die MD5 (oder Äquivalent) nach einem Petzen überwachen

Da hier schon herausgekommen ist, wie u.a. xirror das zweite Problem umschifft, war ein Ansatz zum Spielen gegeben. Herausgekommen ist eine Technik, die beide Punkte mit einem Schlag erledig. Und mehr.

Hier ist erst mal die nötige Fliegenklatsche getestet (s.u.) und funktional

Version -3.87 ist oben

Ich webe mal das Handbuch in diesen thread ein, sonst wirds unübersichtlich: (Navigation fluppt natürlich nur, wenn ein geklickter link im selben Tab aufgemacht wird!)

Download-Check
Upload vorbereiten
Upload-Check <----------------------------[was Neues
Linkliste generieren <----------------------[dasselbe Neue (latürnich)
ReUp vorbereiten
Installation und Aufruf
Grenzen & Beschränkungen
Versions-Log

Wenns dem geschätzten Mithelfer/Tester/leidenden user nicht zu mühselig wird, ist

• bei einem Absturz o.ä. eine möglichst genaue Umfeldbeschreibung (welche Dateien, wo, welches OS...) neben dem obligatorischen screenshot sehr nützlich. Falls es mal auftritt: pm! Danke im Voraus!
• jede sonstige Idee gerne gesehen - aber bitte: es wird weder ein universal problem solver noch ein captcha-Umgehungs-tool entstehen. Kaffee kochen müßt ihr weiterhin alleine...

Zwischenzeitlich habe ich mich überzeugen lassen, die GUI als jetzt-sofort nächsten Punkt abzuhaken. Damit haben sich andere Planungen fürs WE erstmal erledigt, es gilt Neuland zu besiedeln. Natürlich wird das bestenfalls ein halbnacktes funktionales Teil, an der Meldung zum Designpreis kann später immer noch gearbeitet werden:-)

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Download überprüfen:

sjspud [-c] [maske]

Ihr habt die Dateien
[INDENT]serieS0XE0Y.part1.rar
serieS0XE0Y.part2.rar
serieS0XE0Y.part3.rar
serieS0XE0Y.part4.rar
[/INDENT]nach c:\down runtergeladen? Dann lautet der Aufruf:
[INDENT]sjspud c:\down\serieS0XE0Y*.rar
[/INDENT]oder, falls die 4 Dateien dort die einzigen sind, reicht auch ein:
[INDENT]sjspud c:\down\
[/INDENT]Testet jede passende Datei und gibt die Ergebnisse aus. So wißt ihr,

• ob alle parts einer Folge gesaugt sind
• ob der download fehlerfrei war

ABER: Dies funktioniert nur mit parts, die mit sjspud vorbehandelt worden sind!

[zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Sicherung der Dateien für den upload:

sjspud -s [maske]

Ihr habt in d:\up\ alle parts für den nächsten up gesammelt? Dann lautet der Aufruf[INDENT]sjspud -s d:\up\
[/INDENT]Für alle Dateien wird der MD5 berechnet und mit Zusatzinformationen hinten an die parts drangeklebt. Daher müssen die parts etwas kleiner als 100MiB sein, genauer gesagt um 48 Byte, oder[INDENT]maximale part-Größe: 104857552 Byte
[/INDENT]Danach können die parts ganz normal in den upload.

sjspud sammelt+sortiert die Parts zu Episoden, aber[INDENT]ACHTUNG! Die Automatik fluppt AUSSCHLIESSLICH mit den aktuellen WinRAR-parts, also
[INDENT]~.part*.rar
[/INDENT] Dann werden sie aber schön sortiert, gezählt und durchnummeriert und abgearbeitet.
[/INDENT][zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Upload überprüfen:

sjspud -uc[Text] [maske]

in der premium-zone bei RS (collector weiß ich noch nicht) gibt es den button [Export+MD5], der nach einem vorsichtigen clic eine Liste aller hochgeladenen Dateien u.a. mit dem von RS berechneten Gesamt-MD5 ausgibt. Der ganze Sermon wird kopiert und in dem Verzeichnis gespeichert, in dem die zu prüfenden parts liegen.

Die parts lagen (ohne störende andere Dateien) in D:\up\ und ihr habt die Kopie als linksmd5.txt gespeichert? Dann lautet der Aufruf[INDENT] sjspud -ucLinksMD5.txt D:\up\
[/INDENT]Jede passende Datei wird im Text gesucht und falls gefunden, wird auch lokal der Gesamt-MD5 berechnet und mit dem von RS verglichen. Das Ergebnis wird ausgegeben. Ungleicher MD5 bedeutet: Irgendwas beim up ist schiefgelaufen, noch mal hochschieben!

Dieser Test geht mit allen ups - auch ohne sjspud-Vorbehandlung!

Seit V-3.87 kann der Textname weggelassen werden. sjspud geht dann von
[INDENT]RSMD5.TXT
[/INDENT]aus. Wenn einfach nach einem up dieser Text überschrieben wird, reicht ein schmales
[INDENT]sjspud -uc
[/INDENT]um den up für alle Dateien zu checken.
[zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

ReUp-Vorbereitung

sjspud -r [maske]

You´ve been busted? Dann habt ihr doch hoffentlich die parts schon vor dem up mit sjspud behandelt und gebunkert. Wenn sie jetzt wieder alle (und alleine) in D:\up\ liegen, lautet der Aufruf[INDENT] sjspud -r d:\up\
[/INDENT]Alle passenden Dateien werden für den reup angepasst (kein langwieriges Neupacken oder sonstiges Rumrechnen, nur an ein paar Bits fummeln) und können dann wieder - frisch wie aus dem Ei gepellt - ganz normal in den upload.

[Test-UP vom inet-Cafe in die collector-zone, selbst verpetzt vom nächsten inet-Cafe und als beim DL die übliche Nachricht kam, vom dritten inet-Cafe nochmal geupt: ohne Probleme. Aber die ganze Aktion: merkwürdiges Gefühl dabei...]

[zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Grenzen und Beschränkungen:

-wenn man sich an die 100MiB Grenze nicht halten muß: 4 GiB max / Datei
-max 255 Parts/Folge

Wegen der unwahrscheinlich hohen Versionsnummer (<-3) muß sjspud noch zart behandelt werden: die ganze massive Fehler-Abfangerei ist ab morgen früh in Arbeit.

INSBESONDERE:[INDENT]alle parts müssen für den Benutzer lesbar und schreibbar sein !!
alle scripte (und so) müssen für den Benutzer lesbar sein !!
[/INDENT]Falls das Kind noch mal eiert oder richtig auf die Nase fällt: es ist max eine Datei offen, in der Zeitspanne (schreiben..geschlossen) sollte eigentlich nichts passieren. Es sei denn einer zieht den Stecker oder dergleichen

Wie üblich: BENUTZUNG AUF EIGENE GEFAHR - OHNE GEWÄHR

[zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Versionsgeschichte:

-3.87....2007-10-18 03:37

• bugfix: fehlende maske führte zum Absturz. Bei shortstrings kann man auf [0] zugreifen, jetzt aber wars wg. möglichen langen Namen ein ansistring... erst denken, dann umkodieren
  
• severe bugfix: in (zum Glück) sehr seltenen Fällen wurde der falsche MD5 berechnet. Fehlersuche bei 64Byte-Häppchen in 39MiB ist um Mitternacht sinnlos, also wurde mit Blick auf die anstehende asm-Portierung der MD5-Algorithmus umstrukturiert und neu kodiert, immer noch in Pascal, nur wenig asm. Und siehe da: jetzt gehts. Der tapfere Vorkämpfer IHunter schaffte es, genau die Datei zu produzieren, bei der es auffiel. Und wenn sich einer derart Mühe gibt (Mehrfach-up...), dann leg ich auch mal ´ne Nachtschicht ein. Mal schauen, wie ich nachher auf Arbeit aussehe:-)
• faulheit: wenn bei -UC der Text-Name weggelassen wird, geht sjspud ab sofort von RSMD5.TXT aus. Vielbenutzer können aufatmen, wenn sie den RS-ExportMD5 einfach immer über diese Datei drüberschreiben.

-3.88....2007-10-17 ca 20:00

• -w für den Einsatz in Batches (nach erfolgreichem Beenden warten auf ENTER)
• -u Modifier L für LinkListen-Erstellung
• winzig-Umgebung erstellt

-3.9.....2007-10-16

• erste Ansätze zur Fehlertoleranz
• -vr um die Animation auszuschalten
• -uc um den Upload-Check schon mal vorzuziehen
• micro-bug fixes

-4.......2007-10-14

• Erster Auftritt in der öffentlichkeit, console-only, -s-c-v-r sind kodiert

[zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Installation und Aufruf........................................................................Klassische Konsole

Hier gibts die nicht ganz so flexible, aber leichter zu bedienende Variante.

Das Archiv auspacken nach

C:\PROGRAMME\SJSPUD\

und zwar unabhängig davon, ob C: wie üblich das Laufwerk von Windows ist oder nicht.

Kleine Vorgeschichte:

Bei mir werden vom DL-Manager (der in FireFox eingebaute) alle Dateien in ein und dasselbe Verzeichnis runtergeladen,
[INDENT]F:\BULK\
[/INDENT] damit nicht jedesmal die dämliche Frage 'wohin denn bloß' kommt bzw. nicht jedesmal gesucht werden muß, wohin. Wenn alles da ist, packe ich die parts in das gewünschte Verzeichnis aus, z.B.
[INDENT] F:\neues aus büttenwarder\
[/INDENT] und wenn alles geklappt hat, werden die part-Archive gelöscht. Genauso existiert auf der externen Platte ein Verzeichnis
[INDENT]E:\UP\
[/INDENT] da dem RS-uploader ja das Quellverzeichnis bekannt ist und
[INDENT]E:\auf_mir_ist_copyright\
[/INDENT] einfach nicht gut aussieht bei RS (FALLS das irgendwo gespeichert werden sollte). Da verschiebe ich vor dem up alle Dateien eines Projektes hin und laß sie von dort in den RSuploader tropfen. Wenn alles fertig ist, werden sie wieder in ihre Heimat zurück-verschoben.

Und was soll diese Geschichte???

Nach der 'Installation' sind in dem Verzeichnis außer dem Programm und diesem Text noch vier weitere Dateien, die jetzt etwas Bewegung bekommen:

wobei die Ziel-Verzeichnisse natürlich euren Gegebenheiten angepasst werden müssen...

[zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Upload überprüfen und Linkliste für die Meldung zur main erstellen:
[INDENT] sjspud -uLc[Text] [maske]
[/INDENT] Das sieht nicht nur so ähnlich aus wie der Upload-Check, er ist es auch schon wieder. Durch den zusätzlichen Modifier L (das muß nicht groß geschrieben werden, ist so hier aber besser lesbar) wird sjspud angeregt, während der Überprüfung auch gleich noch die eh schon im RS-Text vorhandenen links schön sortiert in einem Text mit dem naheliegenden Namen[INDENT]LinkListe.TXT
[/INDENT]auszugeben in das Verzeichnis, in dem auch die gecheckten Dateien liegen. Den kannst Du dann ganz schlicht in Deine email zur Meldung an die main pasten. Zur besseren Übersicht gibt es eine Leerzeile zwischen den Episoden. Das ist die allererste Ausbaustufe der Meldungs-Genese - ein passender Kopf sollte letztendlich mitgeneriert werden.

Opjepass: Eigentlich ist sjspud die Reihenfolge von Modifiern völlig egal. Da aber das C alles hinter sich als Dateinamen frißt, ist in diesem Falle eine kleine geistige Umsortierung angemessen.

[zurück]

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

Installation und Aufruf Teil 2: echte Konsole

Das Archiv SJSPUD.RAR mit WinRAR auspacken nach einem genehmen Plätzchen. Vorsichtshalber mal in den LiesMich schauen, man weiß ja nie... Batches entsorgen, sjspud umbenennen in etwas Fingerfreundliches wie z.B.
[INDENT]s.exe
[/INDENT]Die neue Adresse via AUTOSTART, Abteilung PATH veröffentlichen und neu einloggen, damits auch jeder mitbekommt.

Danach einfach im Exploder den Ordner mit den zu behandelnden Dateien rechtsklicken und aus dem Kontextmenu 'DOS Prompt Here' wählen.
[INDENT] Wie, habt ihr nicht? Gibt WinDoof zugegebenermaßen nicht so leicht preis, ich hab auch schon ewig nicht mehr nachgesehen, wie das in welchem Win ging, da das mit X-Setup naheliegenderweise und seit eh und je unter[INDENT]Classic .............[ok, ok, das ist relativ neu dazugekommen]
/Appearance/Files&Folders/Folders Context Menu
[/INDENT]zu finden ist. Den tweak 'Dos Prompt...' anklicken, ankreuzen, Apply Changes und fertich.
So kann man unter
[INDENT]Classic/Startup|Shutdown/Startup/Windows
[/INDENT] auch schnell noch 'Execute AutoExex.bat' aktivieren.
[/INDENT]Schon ploppt die Konsole hoch und als Bonus könnt ihr bei der artgerechten Serienhaltung (eine Staffel pro Ordner) in allen Standard-Fällen die Datei-maske vergessen:-)

[zum header]...........................oder............................[zurück zum ersten Teil]


------------dies ist kein normaler post, sondern eine Seite aus dem Handbuch ----------

moin moin,

da ich nicht durch RS hindurchgucken kann, wer sjspud geladen hat, kommt hier ein heftiger pusH aus Anlaß eines häßlichen Fehlers, der zum Glück aber nur selten aus der Ecke kommt: Versionen älter als -3.87 berechnen manchmal, aber wirklich nur manchmal den MD5 falsch.

Ehrlich gesagt: In über 1000 Tests gegen einen 'offiziellen' MD5-hash (Daten gibts hier genug) genau einmal bei der einen Datei, die IHunter meinte erzeugen zu müssen:-). So liebe ich die testenden Vorkämpfer: die brauchen dieses gewisse Händchen, das schonungslos auch noch die letzte wackelige Stelle findet. btw: der Fehler ist nicht gefunden, sondern der entscheidende Teil der Quelle neu gestrickt worden.

oops, war übertrieben: das log erzählt was von 960 Rennen zum richtigen MD5.

moin moin,

dran isser, hats aber wohl letzte+vorletzte Woche etwas übertrieben - jetzt ist der Schädel widerwillig. Ich beende gerade das (ein-wenig-)Umschreiben der Quellen auf 'Großes Projekt', lese fleißig GUI & Co, mache sjspud dann noch immun gegen Mirrordienste und am WE werde ich die ersten Spielchen zumThema GUI beginnen. Danach das WE ist ja ziemlich lang (falls der Brückentag genehmigt wird, sieht bis jetzt gut aus) und sollte genug Raum fürs Programmieren bieten.

Erst mal ein Lebenszeichen: er arbeitet immer noch (aktuell Tests/debug der inet-procs...), aber wg RL-Belastung sehr wenig seit Ende letzten Jahres.

Dann ein Fehler, den Phoebe bemerkt hat:[zitiert/redigiert aus meinen pns]

Schreibfehler in den .bat ist hier wohl nicht aufgefallen, da ich die sowieso nicht nutze, sondern die sjspud-Aufrufe in andere scripte einbinde. Damit Ihr nicht das Ganze wieder saugen müßt, hier die schnelle Variante: Rechts-Klick auf die .bat und <Bearbeiten> wählen. Dann kommt Notepad, schnell ein-zwei Zeichen ändern und Datei/Speichern, dann schließen.

check.bat:

Zitat

@ECHO OFF
C:\PROGRAMME\SJSPUD\SJSPUD.EXE -w -c *.*

ist korrekt und mein 'Vorbild' für die anderen gewesen. Statt nun den zweiten Parameter '-C' und ggfs die Dateimaske in den anderen batches zu ändern, hab ich bei einigen (im Tran) den ersten geändert.

reup.bat: (möge euch erspart bleiben

Zitat

@ECHO OFF
C:\PROGRAMME\SJSPUD\SJSPUD.EXE -R -c *.RAR

2. Zeile ändern in

Zitat

C:\PROGRAMME\SJSPUD\SJSPUD.EXE -R -w *.RAR

secure.bat:

Zitat

@ECHO OFF
C:\PROGRAMME\SJSPUD\SJSPUD.EXE -S -c *.RAR

2. Zeile ändern in

Zitat

C:\PROGRAMME\SJSPUD\SJSPUD.EXE -S -w *.RAR

check_UL.bat: ist korrekt

Generell können die ganzen Parameter groß oder klein geschrieben sein - das macht keinen Unterschied. Nach den aktuellen ups mach ich noch nen fix und die entsprechende Änderung im thread-header.