Download-Verfügbarkeit anzeigen

  • Hi SerienJunkies-Community,


    ich wollte einmal anfragen, ob es nicht ein cooles Feature wäre, wenn man den Download-Status neben den jeweiligen Hostern eventuell als kleine Ampel darstellen könnte, damit man nicht bei 100 Links kopieren und die Captchas eingeben muss, nur um dann festzustellen, dass alle Links down sind.
    Nebenbei wollte ich erwähnen, dass die in letzter Zeit die Formate, die mich interessieren (Low Quality-Formate wie 200MB-600MB pro Folge mit deutscher und englischer Soundspur) häufig alle down sind. Ich verstehe vollkommen, dass aktuell hauptsächlich die High-Quality Uploads gepflegt werden, wenn es zu Löschungen kommt. Dennoch wäre es sehr schön, wenn auch die Low-Quality Files in Zukunft dabei nichtuntergehen.


    Zudem wollte ich noch sagen, dass ich euer Projekt toll finde und hoffe, dass es noch lange so weitergeht!!!

  • Technisches Problem dabei wird sein, das die Ampel ohne Captcha-Eingabe gar nicht an die Verfügbarkeit herankommt ;)
    Davon ab macht eine Ampel nur dann Sinn, wenn der File auch wieder on gehen kann und das ist bei OCH fast unmöglich ;)


    Statt einer Ampel wäre eine automatische Entfernung aus dem System viel sinnvoller, das würde auch das "wirkliche" Angebot wiederspiegeln.
    Die Gefahr ist nur das es dann einfach öd und leer aussieht, weil 85 % aller Files off sind :rolleyes:


    Glaube aber auch das die Verfügbarkeit gerade von neueren Dingen immer weiter abnimmt, weil ( nein nicht die bösen Uploader schuld sind ) die Abuseanzahl und OCHs einfach immer übler werden.
    Es geht bergab mit OCHs und DDLs ... leider !


    Dabei ist es einfach nur schade um den unermüdlichen und stetigen Einsatz des Teams, der Uploader und allen die das System am Leben erhalten :thumbup: Danke !

    Bestand : 600 Serien, 24 TB Speicherplatz ... seit 2006 permanent online - 22 TB Upload an 2000 freundliche User !


    The tvfreaks are still alive and kicking ;)

  • Vielen Dank für die Antwort,


    die Anzeige, dass 85% der Files nicht verfügbar sind, ist vielleicht nicht schön, aber es ist doch immer besser die Tatsachen vor sich zu sehen, als im Dunkeln zu tappen.
    Ich bin voll und ganz deiner Meinung, dass hier schon seit so vielen Jahren großartige Arbeit geleistet wird!


    Die Überprüfung von den Links kann selbstverständlich nur vom System durchgeführt werden.
    Das Ganze sollte relativ einfach sein. Wenn wir beispielsweise davon ausgehen, dass die Links in irgendeiner SQL-Datenbank stehen, wie ich aus einigen Post herauslesen konnte.
    Je nachdem, um welchen Hoster es geht muss man sich eindeutige Erkennungsmerkmale suchen, die zeigen, dass eine Datei zum Download bereit steht (in einer html-Datei von Share-Online zum Beispiel, wäe dies beispielsweise der String "Download-Paket". Bei Seiten, die ausgeliefert werden, wenn die Datei nicht verfügbar ist kommt dieses Wort nicht vor.


    Um das Schema abzubilden habe ich eine ganz einfache MySQL-Tabelle aufgesetzt:


    SQL
    1. mysql> select * from links.so;
    2. +---------------------------------------------+--------+------+
    3. | link | status | pk |
    4. +---------------------------------------------+--------+------+
    5. | http://www.share-online.biz/dl/03ZJ6K2NK3LX | 0 | 1 |
    6. | http://www.share-online.biz/dl/H9KF6K2NZ3Y | 0 | 2 |
    7. | http://www.share-online.biz/dl/03ZJ6K2NK3L | 0 | 3 |
    8. +---------------------------------------------+--------+------+
    9. 3 rows in set (0.00 sec)


    In folgender Tabelle sind 2 verfügbare Einträge enthalten und ein dritter - nicht verfügbarer Eintrag in der Spalte Link
    dann habe ich noch eine Spalte Status angefügt, was warscheinlich in den Tabellen von Serienjunkies ebenfalls getan werden sollte, um den Status des aktuellen Links zu erfassen
    und meine letzte Spalte pk stellt den Primärschlüssel, also die eindeutige Identifizierung des Datensatzes dar (hier weiß ich nicht, wie das bei SJ gehandhabt wird, da müsste man gegebenenfalls bei dem nachfolgenden Script noch ein wenig anpassen.


    Anschließend habe ich in ca. 2-3h ein kleines Script für die Bash geschrieben und getestet, welches den Status der Links überprüft und diesen in die 2. Spalte der MySQL-Tabelle einfügt.



    Hierbei wird:
    1.) Eine Zählvariable definiert
    2.) der Maximalwert für die Schleife bestimmt, aus dem größten vorhandenen Primärschlüssel der MySQL-Tabelle
    3.) Hier wird der Wiederholbereich der Schleife definiert (in dem Falle von 1-3)
    4.) Die Schleife wird gestartet
    5.) Die Variable tempfilename wird mit dem Pfad für die temporär zu erstellende Datei gefüllt (abhängig vom aktuellen Datum)
    6.) der Link jeweilige Link aus der MySQL-Tabelle an der Stelle der Zählvariable i wird heruntergeladen und als Datei abgespeichert
    7.) die abgespeicherte Datei wird nach dem String "Download-Paket" abgesucht
    8.) wenn dies der Fall war,
    9.) wird in der MySQL-Tabelle der Statuswert das aktuellen Links (Zählvariable i) auf 1 (also verfügbar) gesetzt
    10.) wenn dies nicht der Fall war,
    11.) wird in der MySQL-Tabelle der Statuswert das aktuellen Links (Zählvariable i) auf 0 (also nicht verfügbar) gesetzt
    12.) Die Bedingung wir abgeschlossen
    13.) die heruntergeladene Datei wird gelöscht
    14.) die Zählvariable wir hochgesetzt
    15.) die Schleife beginnt von vorn und es wird erneut die Bedingung i <= 3 (in unserem speziellen Fall) geprüft und die Schleife gegebenenfalls mit der neuen Zählvariable i wiederholt


    Dieses Script ändert prinzipiell die Verfügbarkeitswerte der Links in der MySQL-Tabelle.


    So sieht nach der Durchführung die neue Tabelle aus


    SQL
    1. mysql> select * from links.so;
    2. +---------------------------------------------+--------+------+
    3. | link | status | pk |
    4. +---------------------------------------------+--------+------+
    5. | http://www.share-online.biz/dl/03ZJ6K2NK3LX | 1 | 1 |
    6. | http://www.share-online.biz/dl/H9KF6K2NZ3Y | 1 | 2 |
    7. | http://www.share-online.biz/dl/03ZJ6K2NK3L | 0 | 3 |
    8. +---------------------------------------------+--------+------+
    9. 3 rows in set (0.00 sec)



    Was zu tun wäre um alles umzusetzen:
    * SQL-Tabellendefinition anpassen
    * Grenzbereiche für die Schleifen bestimmen
    * Das Script soweit anpassen, dass die SQL-Befehle mit der vorliegenden Datenbank übereinstimmen (und wirklich nur Share-Online-Links überprüft werden).
    * Eventuell kann zusätzlich zum setzen des Status 0 noch eine Mail an den entsprechenden Uploader verschickt werden.
    * Für andere Hoster müssen entsprechend angepasste Scripte erstellt werden.
    * Einen Cronjob erstellen, der beispielsweise einmal täglich/wöchentlich alle Script durchführt.
    * Anschließend kann man über eine ansprechende Anpassung der Serienjunkies-Website nachdenken, mit grünen (alle Links aus einem Paket verfügbar), geleben (einige Links aus einem Pakt verfügbar) und rot (all Links aus einem Paket offline)

    Im Prinzip sollte das in einer Woche umsetzbar sein. Ich kann leider nicht abschätzen, wie ressourcenlastig dies für einen Server wäre, aber es würde auf jeden Fall mehr Klarheit bringen für die Up- und Downloader. Falls ihr Unterstützung für die Umsetzung meines oder eines vergleichbaren Vorschlags braucht (ein anderes Betriebssystem als Linux als Server einsetzt, etc.), stehe ich euch gern tatkräftig zur Seite.

  • Wenn man solch ein System entwickelt, was die Verfügbarkeit bei allen Hostern anzeigt / Oder dieses Links dann z.B. von System gelöscht / ausgegraut werden würde ich sehr empfehlenswert finden zudem hätten Uploader / Downloader dann weniger Arbeit und man könnte das System zu basteln, dass dann auto. bei einem Down der Files dann benachrichtigt wird / es eine Seite gibt wo alle Offline Links detailiert angezeigt werden für Uploader... Das wäre aber je nachdem wie oft der Status der Files überprüft wird ressourcenlastig ev. müsste man da dann eine sogenannte verzögerte Warteschlange basteln, so dass nicht alle Files aufeinmal überprüft werden sondern immer nur nen paar abgearbeitet werden (Je nachdem wie das System gerade ausgelastet ist)


    Das alles könnte man entweder in nen Relaunch (Neues Design) packen oder halt nacheinander (was ich bevorzugen würde)


    Und ich würde ev. noch das Captcha System verbessern (ev. recaptcha verwenden) weil es ev. Programme gibt, die hier versuchen so viele links wie möglich zu melden bei den Hostern...

  • Es freut mich, dass dir meine Idee gefällt. Du hast Recht, man bräuchte wirklich einige Testversuche, um abzuschätzen, wie aufwendig das ist. Ich habe auch keine Ahnung, um wie viele Links / Checks es sich im Ganzen handelt? Normalerweise sollte man das Problem des Ressourcenaufwands über den nice-Wert mit dem der cron-Job laufen soll regulieren könnte (bzw. über die ressourcenfreigabe für den User, der den cron-Job laufen lässt)


    In Punkto Captcha stimme ich dir auch zu, die sind tatsächlich schon seit vielen Jahren auf einem recht gleichen, nicht sehr anspruchsvollen Stand. In dem Gebiet habe ich aber leider nicht wirklich viel Erfahrung...

  • Ja daran hatte ich auch gedacht... Aber ich habe keinen Plan etwas dagegen zu tun, außer nen Hoster zu nehmen, von dem keine Files genommen werden können... Keine Ahnung ob es da welche gibt... vielleicht in China oder so..

  • Es gibt im Prinzip keinen. Und so ein online-Check für den Uploader selbst ist bereits im Gespräch.
    Wir grübeln hinter den Kulissen im Moment genauso viel und quasi ständig hin und her, wie man der Abuseritis einen Riegel vorschieben kann oder zumindest den Downloader vor Downlinks schützen kann.
    Aber wie hier schon festgestellt wurde geht mit jedem Komfort auch immer etwas mehr Komfort für Abuser einher.


    Und eine Frage sollte man sich auch noch stellen. Im Moment ist es eine "Pattsituation" bei der beide Seiten ihre "Beweglichkeit" in alle Richtungen gewahrt haben. Die Rechteinhaber können relativ einfach ihr Material schützen, die Uploader können reuppen, wenn sie wollen. Wenn es für die Rechteinhaber zu aufwändig wird ihr Material zu schützen, sich also das Gewicht zu Seiten der Uploader verschiebt, werden sie mit entsprechend härteren Gegenmaßnahmen reagieren, und ich zumindest traue ihnen da einiges zu. Will man diese schlafenden Hunde wecken?

    Postfächer laufen über. Lange Wartezeiten!

  • Ich würde mich auf jeden Fall freuen, wenn man die Übersichtlichkeit ein wenig verbessern kann und auch wenn ihr eine Möglichkeit findet die geuppten Files zu schützen.
    Aber den Nutzerkreis einschränken ist halt schwierig, weil das ja eine offene Community ist und kein Hintergrund-Check der User durchgeführt wird, bevor sie freigeschaltet werden. ;)

  • Also, es gibt kein eindeutiges, klar erkennbares Muster nachdem gelöscht wird. Ebenso keine nachvollziehbar mit den Abuses in Verbindung zu bringenden Zugriffe von begrenzten IP-Ranges.
    Darüberhinaus ist es zu eurem Schutz sowieso extrem schwer irgendetwas nachzuvollziehen. Es werden selbstverständlich keine IPs gespeichert.


    Über die Schiene "Aussperren" haben wir schon alles Mögliche versucht.


    Es gibt noch ne Reihe anderer Verdächtiger. Viele Ideen, was wir noch tun könnten.
    Daran wird gebastelt, aber es wird keine Schnellschüsse geben, die dann zu früh verraten wie wir vorgehen wollen.
    Ich denke das versteht jeder.

    Postfächer laufen über. Lange Wartezeiten!

  • Warum sollten irgendwelche Abuse-Schnüffler über ne Firmen-IP rausgehen und suchen?
    Ich denke auch, dass es echt schwer ist, die Leute aufzuspüren.
    Aber ich würde sagen es kommt auf nen Versuch an.
    Zu Anfang könntet ihr die Downloadverfügbarkeit ja nur intern über die Datenbanken abbilden und Vielleicht so den Status der Downloads einmal überwachen.
    Wenn ihr aussagekräftige Zahlen habt, wie viel so am Tag oder in der Woche down geht, dann könntet ihr das Feature im Template für die Links freischalten und wenn ihr dann bei den Statistikauswertungen merkt, dass die Abusemeldungen verstärkt in die Höhe gehen, könnt ihr es ja wieder aus dem Template nehmen und die Statusupdates nehmen um selber schneller auf Downs zu reagieren.

  • Hi ,


    ein online-Check für den Uploader ist ja wohl kein Problem.


    1. Ein Ordner mit Namen Serien Online Checker erstellen.
    2. JDownloader in den Ordner Kopieren
    3. JDownloader Starten.
    4. Jede Serie/Episode die der Uploader auf Serienjunkies zu Verfügung stellt in JDownloader einfügen.
    5. Alle Serien im JDownloader markieren und auf Onlinestatus überprüfen Klicke das sollte man dann regelmäßig alle paar Tage machen..


    Sollte was offline sein wird man es sehen.

  • Der Uploader kann auch genausogut seine eigenen Links bei einem Linkverschlüsseler seiner Wahl eintragen, der Online-Check bietet.


    Nur weil SJ das nicht selbst bietet, ist es doch nicht verboten dafür externe Dienste zu nutzen ;)

    Postfächer laufen über. Lange Wartezeiten!

  • eigene uploads lassen sich viel leichter über den universal manager testen...
    dauert nur ein paar sekunden für paar tausend dateien...


    aber es geht ja nicht darum zu sehen was offline ist... das sieht man ja erstens im account, da kann man die dateien anzeigen lassen die abused wurden und zweitens sieht man ja die downmeldungen...


    das problem ist ja einfach das es eben dauert die sachen immer zu uppen und im upsys einzutragen....

  • Das stimmt wohl...
    So müsste jeder Upper sich selbst um seine Sachen kümmern. Manch einer macht das, ein anderer wieder nicht.
    Wenn's Server seitig gelöst wird und beispielsweise Mails verschickt werden oder PNs, müssen nur die Server-Admins ab und zu die Checks anpassen.
    Was mir nur ein paar Sorgen machen würde, wären die Nachrichtenfluten, wenn bei den Hostern die Seite umgebastelt wurde und die Kriterien für den Check nicht mehr erfüllt werden.


    Den größten Vorteil haben aber die Downloader, da sich für sie der Aufwand enorm reduziert, alle für sie relevanten Links immer auf's Neue zu checken.

  • Den Gedanken mit der "Waffengleichheit" finde ich interessant! Wenn es zu einfach wird, muss die Gegenseite reagieren und das Spiel geht in die nächste Runde...


    Darum sollte und müsste immer ein Mindestmaß an Einsatz gebracht werden müssen. Dann allerdings sollte es auch funktionieren.


    Es müsste einfacher sein, den Link ON zu halten, als ihn zu abusen. Ein Ansatzpunkt könnte die Zeit sein die es braucht, einen abuse durchzubringen. Vielleicht könnte man das Prinzip der Hardlinks in Dateisystemen hier zur Anwendung bringen. Eine Datei wird erst gelöscht, wenn die letzte Referenz darauf gelöscht wird. Und die behält man immer selbst. Ist der Hardlink-Count auf 1, wartet man ein paar Minuten, und stellt die Sache unter anderem Namen programmatisch wieder ein!


    Dann spielen wir Abuser-und-Igel! :D