Beiträge von ProAqua

siehe Down Problem

Zitat

Kurze Antwort: Es tut sich nichts. Sei froh, dass es SJ in der jetzigen Form noch gibt.

Ausführliche Antwort: Ideen und Möglichkeiten, nicht nur die
Abuse-Problematik in den Griff zu bekommen, gibt es zuhauf. Viele
Anregungen, die hier in diesem Forenbereich gegeben werden, hatten wir
(das "Admin"-Team) schon lange. Besonders über die Abuserei haben wir
uns den Kopf zerbrochen und Wege gefunden, wie sich diese ganz sicher
stark eindämmen ließe und/oder für die Nutzer unbemerkt bleiben würde.

Das Problem ist aber (und ich versuche mich an einer diplomatischen
Formulierung): SJ wird von einer einzigen Person geleitet (Verwaltung,
Server, Technik, Finanzierung ...). Wenn von dieser Stelle keinerlei
Aktivität ausgeht, bleiben alle Initiativen, Ideen und Vorschläge des
"Admin"-Teams, ebenso wie die der User in diesem Forenbereich,
wirkungslos. Die Frustration sitzt inzwischen tief.

Wie vielleicht einige wissen, bin ich kein Fan davon, interne
Angelegenheiten mit der Öffentlichkeit zu teilen. Ich denke aber, wer
diese Seite besucht, sollte wissen, dass sich höchstwahrscheinlich
nichts mehr zum Besseren wenden wird. Falls noch ein neuer OCH
irgendwann eingebaut wird, darf man das getrost als Revolution ansehen
und die nächsten Monate mit keiner weiteren Änderung rechnen. Das klingt
hart und blendet den Hack-Angriff, der einige geplante Neuerungen
zunichte gemacht hat, sowie gesundheitliche und berufliche Probleme des
SJ-Chefs aus. An der Sachlage ändert sich dadurch aber nichts.

Welche Konsequenzen man daraus zieht, bleibt jedem selbst überlassen.
Ich persönlich ziehe mich zunächst langsam aus dem Upload-Geschäft
zurück und danach eventuell aus weiteren Bereichen. Die Downloader
kehren der Seite wohl automatisch den Rücken, wie die Uploader
inzwischen an den Downloadzahlen ablesen können.

Ich mach hier jetzt zu. Diskutieren wird nichts bringen. Der Chef liest nicht mit.

Alles anzeigen

Ich wollte nur mal nachfragen, bezüglich des Statements, dass eine einzige Person alles wartet.
Meiner Meinung nach, ist so etwas kaum tragbar, schon gar nicht aufgrund der Größe der Seite und ich bin mir sicher, dass es hier genug fähige Programmierer/Serverspezialisten gibt, die gern Unterstützung bieten würden, mich eingeschlossen.
Die Frage ist, kann man Mr. X irgendwie seine Dienste zur Verfügung stellen?

Na das selbstverständlich nicht, aber so hätte man zumindest ein klein wenig Kontrolle über diese Infos. Ob das im Endeffekt etwas bringt wird sich dann ja herausstellen.

Wenn man wirklich den Up-Status intern verwalten würde, müsste man den auch nicht auf der Website öffentlich anzeigen, aber man könnte ihn auf Anfrage an die User rausgeben, um denen die entsprechenden nutzlosen Captha-Eingaben zu ersparen, außerdem könnte man so eventuell Rückschlüsse auf die Abuser schließen...

Das klingt nach ner geilen Idee, wenn die Hoster das machen würden, aber wenn das raus käme, wären sie ja selbst quasi Uploader und somit eventuell haftbar - keine Ahnung wie die Rechtslage für sonen Fall liegt.
Und auch die Überlegung zur Hard-Link-Methode findeich interessant. Die Uploader laden quasi noch ein weiteres mal die Sachen hoch, und SJ hält einen Upload zurück, bis alle anderen weg sind und stellt den danach online, damit dann die Re-Upload-Zeit überbrückt wird.
Doch wie GoneFar schon sagt wird's dann irgendwann an der Uploadrate der Uploader scheitern... Wir bräuchten einfach nen Hoster, der sich von niemandem vorschreiben lässt, was er zu löschen hat...

Das stimmt wohl...
So müsste jeder Upper sich selbst um seine Sachen kümmern. Manch einer macht das, ein anderer wieder nicht.
Wenn's Server seitig gelöst wird und beispielsweise Mails verschickt werden oder PNs, müssen nur die Server-Admins ab und zu die Checks anpassen.
Was mir nur ein paar Sorgen machen würde, wären die Nachrichtenfluten, wenn bei den Hostern die Seite umgebastelt wurde und die Kriterien für den Check nicht mehr erfüllt werden.

Den größten Vorteil haben aber die Downloader, da sich für sie der Aufwand enorm reduziert, alle für sie relevanten Links immer auf's Neue zu checken.

Warum sollten irgendwelche Abuse-Schnüffler über ne Firmen-IP rausgehen und suchen?
Ich denke auch, dass es echt schwer ist, die Leute aufzuspüren.
Aber ich würde sagen es kommt auf nen Versuch an.
Zu Anfang könntet ihr die Downloadverfügbarkeit ja nur intern über die Datenbanken abbilden und Vielleicht so den Status der Downloads einmal überwachen.
Wenn ihr aussagekräftige Zahlen habt, wie viel so am Tag oder in der Woche down geht, dann könntet ihr das Feature im Template für die Links freischalten und wenn ihr dann bei den Statistikauswertungen merkt, dass die Abusemeldungen verstärkt in die Höhe gehen, könnt ihr es ja wieder aus dem Template nehmen und die Statusupdates nehmen um selber schneller auf Downs zu reagieren.

Ich würde mich auf jeden Fall freuen, wenn man die Übersichtlichkeit ein wenig verbessern kann und auch wenn ihr eine Möglichkeit findet die geuppten Files zu schützen.
Aber den Nutzerkreis einschränken ist halt schwierig, weil das ja eine offene Community ist und kein Hintergrund-Check der User durchgeführt wird, bevor sie freigeschaltet werden.

Ja daran hatte ich auch gedacht... Aber ich habe keinen Plan etwas dagegen zu tun, außer nen Hoster zu nehmen, von dem keine Files genommen werden können... Keine Ahnung ob es da welche gibt... vielleicht in China oder so..

Es freut mich, dass dir meine Idee gefällt. Du hast Recht, man bräuchte wirklich einige Testversuche, um abzuschätzen, wie aufwendig das ist. Ich habe auch keine Ahnung, um wie viele Links / Checks es sich im Ganzen handelt? Normalerweise sollte man das Problem des Ressourcenaufwands über den nice-Wert mit dem der cron-Job laufen soll regulieren könnte (bzw. über die ressourcenfreigabe für den User, der den cron-Job laufen lässt)

In Punkto Captcha stimme ich dir auch zu, die sind tatsächlich schon seit vielen Jahren auf einem recht gleichen, nicht sehr anspruchsvollen Stand. In dem Gebiet habe ich aber leider nicht wirklich viel Erfahrung...

Vielen Dank für die Antwort,

die Anzeige, dass 85% der Files nicht verfügbar sind, ist vielleicht nicht schön, aber es ist doch immer besser die Tatsachen vor sich zu sehen, als im Dunkeln zu tappen.
Ich bin voll und ganz deiner Meinung, dass hier schon seit so vielen Jahren großartige Arbeit geleistet wird!

Die Überprüfung von den Links kann selbstverständlich nur vom System durchgeführt werden.
Das Ganze sollte relativ einfach sein. Wenn wir beispielsweise davon ausgehen, dass die Links in irgendeiner SQL-Datenbank stehen, wie ich aus einigen Post herauslesen konnte.
Je nachdem, um welchen Hoster es geht muss man sich eindeutige Erkennungsmerkmale suchen, die zeigen, dass eine Datei zum Download bereit steht (in einer html-Datei von Share-Online zum Beispiel, wäe dies beispielsweise der String "Download-Paket". Bei Seiten, die ausgeliefert werden, wenn die Datei nicht verfügbar ist kommt dieses Wort nicht vor.

Um das Schema abzubilden habe ich eine ganz einfache MySQL-Tabelle aufgesetzt:

In folgender Tabelle sind 2 verfügbare Einträge enthalten und ein dritter - nicht verfügbarer Eintrag in der Spalte Link
dann habe ich noch eine Spalte Status angefügt, was warscheinlich in den Tabellen von Serienjunkies ebenfalls getan werden sollte, um den Status des aktuellen Links zu erfassen
und meine letzte Spalte pk stellt den Primärschlüssel, also die eindeutige Identifizierung des Datensatzes dar (hier weiß ich nicht, wie das bei SJ gehandhabt wird, da müsste man gegebenenfalls bei dem nachfolgenden Script noch ein wenig anpassen.

Anschließend habe ich in ca. 2-3h ein kleines Script für die Bash geschrieben und getestet, welches den Status der Links überprüft und diesen in die 2. Spalte der MySQL-Tabelle einfügt.

Hierbei wird:
1.) Eine Zählvariable definiert
2.) der Maximalwert für die Schleife bestimmt, aus dem größten vorhandenen Primärschlüssel der MySQL-Tabelle
3.) Hier wird der Wiederholbereich der Schleife definiert (in dem Falle von 1-3)
4.) Die Schleife wird gestartet
5.) Die Variable tempfilename wird mit dem Pfad für die temporär zu erstellende Datei gefüllt (abhängig vom aktuellen Datum)
6.) der Link jeweilige Link aus der MySQL-Tabelle an der Stelle der Zählvariable i wird heruntergeladen und als Datei abgespeichert
7.) die abgespeicherte Datei wird nach dem String "Download-Paket" abgesucht
8.) wenn dies der Fall war,
9.) wird in der MySQL-Tabelle der Statuswert das aktuellen Links (Zählvariable i) auf 1 (also verfügbar) gesetzt
10.) wenn dies nicht der Fall war,
11.) wird in der MySQL-Tabelle der Statuswert das aktuellen Links (Zählvariable i) auf 0 (also nicht verfügbar) gesetzt
12.) Die Bedingung wir abgeschlossen
13.) die heruntergeladene Datei wird gelöscht
14.) die Zählvariable wir hochgesetzt
15.) die Schleife beginnt von vorn und es wird erneut die Bedingung i <= 3 (in unserem speziellen Fall) geprüft und die Schleife gegebenenfalls mit der neuen Zählvariable i wiederholt

Dieses Script ändert prinzipiell die Verfügbarkeitswerte der Links in der MySQL-Tabelle.

So sieht nach der Durchführung die neue Tabelle aus

Was zu tun wäre um alles umzusetzen:
* SQL-Tabellendefinition anpassen
* Grenzbereiche für die Schleifen bestimmen
* Das Script soweit anpassen, dass die SQL-Befehle mit der vorliegenden Datenbank übereinstimmen (und wirklich nur Share-Online-Links überprüft werden).
* Eventuell kann zusätzlich zum setzen des Status 0 noch eine Mail an den entsprechenden Uploader verschickt werden.
* Für andere Hoster müssen entsprechend angepasste Scripte erstellt werden.
* Einen Cronjob erstellen, der beispielsweise einmal täglich/wöchentlich alle Script durchführt.
* Anschließend kann man über eine ansprechende Anpassung der Serienjunkies-Website nachdenken, mit grünen (alle Links aus einem Paket verfügbar), geleben (einige Links aus einem Pakt verfügbar) und rot (all Links aus einem Paket offline)

Im Prinzip sollte das in einer Woche umsetzbar sein. Ich kann leider nicht abschätzen, wie ressourcenlastig dies für einen Server wäre, aber es würde auf jeden Fall mehr Klarheit bringen für die Up- und Downloader. Falls ihr Unterstützung für die Umsetzung meines oder eines vergleichbaren Vorschlags braucht (ein anderes Betriebssystem als Linux als Server einsetzt, etc.), stehe ich euch gern tatkräftig zur Seite.

Hi SerienJunkies-Community,

ich wollte einmal anfragen, ob es nicht ein cooles Feature wäre, wenn man den Download-Status neben den jeweiligen Hostern eventuell als kleine Ampel darstellen könnte, damit man nicht bei 100 Links kopieren und die Captchas eingeben muss, nur um dann festzustellen, dass alle Links down sind.
Nebenbei wollte ich erwähnen, dass die in letzter Zeit die Formate, die mich interessieren (Low Quality-Formate wie 200MB-600MB pro Folge mit deutscher und englischer Soundspur) häufig alle down sind. Ich verstehe vollkommen, dass aktuell hauptsächlich die High-Quality Uploads gepflegt werden, wenn es zu Löschungen kommt. Dennoch wäre es sehr schön, wenn auch die Low-Quality Files in Zukunft dabei nichtuntergehen.

Zudem wollte ich noch sagen, dass ich euer Projekt toll finde und hoffe, dass es noch lange so weitergeht!!!