Programm zum Links rausfilten von Seiten

grisham88 · 9. Dezember 2010

Ich habe ein Programm geschrieben, dass die Links von Staffeln per Quelltext ausliest und dann nach Wahl, den Inhalt der Staffel, die Links vom gewählten Anbieter und das Bild der Serie herunterlädt. Das Ergebnis wird dann in einem Ordner mit dem Serientitel abgespeichert.
Es werden nur die Links an sich geladen nicht die Folge oder den Film. Das Laden dieser soll dann der JDownloader oder ein anderes Downloadprogramm übernehmen.

Die Anleitung ist im Prog enthalten.

Es gibt 5 Versionen

Version 1 enthält mehr Buttons zum auswählen des gewünschten Ergebnisses und benötigt 3 Fenster

Version 2 braucht nur 2 Fenster und man kann in Listen sein Ergebnis auswählen muss hier aber Anbieter der Seite und gewünschtes Ergebnis wählen

Version 3 ist wie 2 nur das man nicht mehr den Anbieter auswählen muss

Version 4 ist eine kleine Version für kleine Bildschirme und benötigt 3 Fenster.

Version 5 ist funktionsreicher. Sie enthält die möglichkeit einen Renamer zu nutzen, einen Serienguide, Staffeln upzudaten ob es neue Folgen dazu gibt. Projekte zu verwalten und zu durchsuchen. Dazu kommt das man jetzt direkt aus dem Programm, doku/serienjunkies.org und movie-blog dursuchen und die ergebnisse gleich laden kann. Noch im Entwicklungsstadium ist das Plugin des VLC-Players der es erlaubt direkt aus dem Guide folgen zu starten. Zu guter letzt kann jeder User selbstständig über eine Config einstellen wie er das Programm nutzen will.

Bald soll es auch eine Homepage zum Prog geben auf der man alle neuerungen, anleitungen und downloads bekommt.

Dazu eine paar Screenshots zur aktuellen Version 3.3

Startansicht
http://imageshack.us/photo/my-images/192/startansicht.png

Ergebnis mit Episodenliste
http://imageshack.us/photo/my-…gebnismitepisodenlist.png

Ergebnis mit Auswahl des Hosters
http://imageshack.us/photo/my-…gebnismitauswahldesho.png

Ergebnis mit Auswahl des Uploaders
http://imageshack.us/photo/my-…gebnismitauswahldesup.png

Als nächstes auf der Agenda steht an:

Version 1, 2 und Mini an Version 3 anpassen
Komplett neuer Designaufbau mit Tabs
Neue Funktionen
- Serienrenamer anhand der Episodenliste und dem Ordner in dem die Serien/Filme etc. liegen
- Config zur Speicherung von Standardeinstellungen wie: Lieblingshoster, Ergebnis und ggf. Aussehen des Junkieloaders
- SerienGuide: Möglichkeit Episoden zu verwalten, wenn man sie gesehen hat zu markieren
- Aus dem Serienguide Folgen zum Umbennen an den Renamer schicken => nur noch eine hand voll klicks und man kann eine ganze staffel umbennen
- Update-Möglichkeit bereits geladener Staffeln: Wenn man von einem bestimmten Uploader bereits alle Folgen hat kann man überprüfen ob dieser neue Anzubieten an, aber nur möglich für eine Staffel
- Möglichkeit die verwalteten Episoden, falls die dazugehörigen Folgen existent sind aus Junkieloader zu starten
- Möglichkeit die Episodennamen von fernsehserien.de zu laden, entweder durch die bereits vorhandenen Titel im Ordner oder durch Angabe des Links
- Schnelleres auswählen von Optionen ohne den OK-Button
- Die Struktur der Ergebnisse wird geändert und dadurch wird es möglich sein, eine Suche in das Programm einzubauen um z.b. direkt nach einer folge oder einer bestimmten eigenschaft zu suchen

Würde gerne Feedback von euch bekommen, was ihr von den Ideen haltet und ob ihr bessere habt

Nachfolgend alle vorhandenen Versionen zum Download
Version 1
http://rapidshare.com/files/443225514/Junkieload.rar

http://www.virustotal.com/file…eaa25a54cf3f5-1295356195r

Version 1.1
http://rapidshare.com/files/444461322/Junkieloader.rar

http://www.virustotal.com/file…5f92371849dd25-1295963013

Version 1.2
http://rapidshare.com/files/452737094/Junkieloader.rar

http://www.virustotal.com/file…4d111d78a79103-1300227060

Version 1.3
https://rapidshare.com/files/459326737/Junkieloader.exe

http://www.virustotal.com/file…fafcb301f0f236-1303847800

Version 2
http://rapidshare.com/files/443224701/Junkieloader_V2.rar

http://www.virustotal.com/file…20529b8564cd1b-1295354153

Version 2.1
http://rapidshare.com/files/444461356/Junkieloader_V2.rar

http://www.virustotal.com/file…6a752e8d934962-1295963239

Version 2.2
http://rapidshare.com/files/452737136/Junkieloader_V2.rar

http://www.virustotal.com/file…012bcea0c45a47-1300228450

Version 2.3
https://rapidshare.com/files/459327812/Junkieloader_V2.exe

http://www.virustotal.com/file…94247f598277d3-1303847906

Version 3
http://rapidshare.com/files/444461365/Junkieloader_V3.rar

http://www.virustotal.com/file…ab5308d6b16da4-1295963420

Version 3.1
http://rapidshare.com/files/452737144/Junkieloader_V3.rar

http://www.virustotal.com/file…7ae2077d332a60-1300228453

Version 3.2
https://rapidshare.com/files/459327823/Junkieloader_V3.exe

http://www.virustotal.com/file-scan/report.html?id=f54099250304a50a81cba7f613a77d0cb432081adce15657c386e0b651272ce4-1303848620

-------------------------------------------------------
Version 3.3
https://rapidshare.com/files/137742375/Junkieloader_V3.exe

http://www.virustotal.com/file…bdc1a3be37074c-1310296130

-------------------------------------------------------
Version 4 (MiniVersion)
https://rapidshare.com/files/459326795/Junkieloader_Mini.exe

http://www.virustotal.com/file…7f85185f4f6d5a-1303848767

AKTUELLE VERSION

-------------------------------------------------------
Version 5

(wichtig!!! alle enthaltenen Dateien sind nötig damit das Programm reibungslos abläuft)
https://rapidshare.com/files/3315491895/Junkieloader_V5.rar

https://www.virustotal.com/fil…e02c/analysis/1327793758/

Wenns euch gefällt oder ihr noch Vorschläge habt einfach ne Mail schicken

Wäre super wenn ihr mir sagen könntest was noch verbesserungswürdig wäre.

smizz · 9. Dezember 2010

Virustotal Report

Code

Antivirus Version Last Update Result
AhnLab-V3 2010.12.09.00 2010.12.08 -
AntiVir 7.10.14.241 2010.12.09 -
Antiy-AVL 2.0.3.7 2010.12.09 -
Avast 4.8.1351.0 2010.12.09 -
Avast5 5.0.677.0 2010.12.09 -
AVG 9.0.0.851 2010.12.09 -
BitDefender 7.2 2010.12.09 -
CAT-QuickHeal 11.00 2010.12.09 -
ClamAV 0.96.4.0 2010.12.09 -
Command 5.2.11.5 2010.12.09 -
Comodo 7002 2010.12.09 -
DrWeb 5.0.2.03300 2010.12.09 -
Emsisoft 5.1.0.1 2010.12.09 -
eSafe 7.0.17.0 2010.12.09 -
eTrust-Vet 36.1.8029 2010.12.09 -
F-Prot 4.6.2.117 2010.12.08 -
F-Secure 9.0.16160.0 2010.12.09 -
Fortinet 4.2.254.0 2010.12.09 -
GData 21 2010.12.09 -
Ikarus T3.1.1.90.0 2010.12.09 -
Jiangmin 13.0.900 2010.12.09 -
K7AntiVirus 9.71.3200 2010.12.09 -
Kaspersky 7.0.0.125 2010.12.09 -
McAfee 5.400.0.1158 2010.12.09 -
McAfee-GW-Edition 2010.1C 2010.12.09 -
Microsoft 1.6402 2010.12.09 -
NOD32 5689 2010.12.09 -
Norman 6.06.12 2010.12.09 -
nProtect 2010-12-09.01 2010.12.09 -
Panda 10.0.2.7 2010.12.09 -
PCTools 7.0.3.5 2010.12.09 -
Prevx 3.0 2010.12.09 -
Rising 22.77.03.05 2010.12.09 -
Sophos 4.60.0 2010.12.09 -
SUPERAntiSpyware 4.40.0.1006 2010.12.09 -
Symantec 20101.3.0.103 2010.12.09 -
TheHacker 6.7.0.1.097 2010.12.09 -
TrendMicro 9.120.0.1004 2010.12.09 -
TrendMicro-HouseCall 9.120.0.1004 2010.12.09 -
VBA32 3.12.14.2 2010.12.09 -
VIPRE 7576 2010.12.09 -
ViRobot 2010.12.9.4193 2010.12.09 -
VirusBuster 13.6.83.1 2010.12.09 -
Additional information
Show all
MD5 : 1fa3ffb9adb5cfb37addf67363149b27
SHA1 : acb0d27b4bc0b41d501338d1c959202eef2a900c
SHA256: e68ce11d34e9b6b80ea90c2314d4609686152ee30a23a7ca9efced701d428848

Alles anzeigen

Programm macht bei SJ zumindest was es soll.

Vorschlag: Bau doch noch ein, dass man nur noch den Link zur Staffel angeben muss, nicht mehr den Quelltext selbst hineinkopieren.

grisham · 9. Dezember 2010

war anfangs auch geplant, nur manchmal lieferte er irgendwelche hyroglyphen zurück und dann kam garnix dabei raus^^, deswegen hab ich lieber den sicheren weg geliefert. Wenn mir einer sagen kann wie ich mit sicherheit richtigen Html-Code zurückgeliefert bekomme dann her damit.

grisham88 · 9. Dezember 2010

Der Teil mit Movie-Blog funktioniert leider noch nicht ganz, aber mit Serien/Dokujunkies sollte es keine Probleme geben.

smizz · 9. Dezember 2010

Mit curl auf den Unterseiten sollte es eigentlich keine Probleme geben.

In der Kategorieseite bekommt man keinen sinnigen output mit curl, jo.

grisham88 · 9. Dezember 2010

ich werd ne version machen, in der man wählen kann ob man per link oder per Quelltext einfügen will. Falls kauderwelsch rauskommt, kann mans ja manuell machen.

der_sammler · 9. Dezember 2010

Code

class CLoadHtmlFile {
public:
CLoadHtmlFile(LPCTSTR sUrl, LPCTSTR sTarget);
~CLoadHtmlFile(void);
__int64 LoadFile();
protected:
__int64 m_iFilesize;
char m_sUrl[2000];
char m_sOutputFile[_MAX_PATH];
bool CreateInternetSession();
int DoRequest();
CHttpFile *OpenRemoteFile(LPCTSTR sURL=NULL);
private:
CHttpFile *m_pRemoteFile;
CInternetSession *m_pSession;
char *m_sLoadBuffer;
int m_nLoadBufferSize;
TCHAR m_szCause[255];
};
//---------------------------------------------------------------------------------
CLoadHtmlFile::CLoadHtmlFile(LPCTSTR sUrl, LPCTSTR sTarget) {
m_pRemoteFile = NULL;
m_pSession = NULL;
strcpy(m_sUrl,sUrl);
strcpy(m_sOutputFile,sTarget);
m_szCause[0] = 0;
m_nLoadBufferSize = 32*1024;
m_sLoadBuffer = (char*)malloc(m_nLoadBufferSize);
m_iFilesize = 0;
}
//---------------------------------------------------------------------------------
CLoadHtmlFile::~CLoadHtmlFile(void) {
if (m_sLoadBuffer != NULL) {free(m_sLoadBuffer); m_sLoadBuffer=NULL;}
if (m_pRemoteFile!= NULL) {m_pRemoteFile->Close(); m_pRemoteFile= NULL;}
if (m_pSession!= NULL) {delete m_pSession; m_pSession= NULL;}
}
//---------------------------------------------------------------------------------
bool CLoadHtmlFile::CreateInternetSession() {
DWORD m_dwAccessType = INTERNET_OPEN_TYPE_PRECONFIG;
try {
m_pSession = new CInternetSession(_T("MSIE 6.0; Windows NT 5.1")
, 1
, m_dwAccessType
, NULL
, NULL
, INTERNET_FLAG_DONT_CACHE | INTERNET_STATUS_REQUEST_COMPLETE |INTERNET_HANDLE_TYPE_CONNECT_HTTP// | INTERNET_FLAG_NO_COOKIES
);
} catch (CInternetException* pEx) {
pEx->Delete();
return false; //ERR_OPENSESSION;
}
return true;
}
//---------------------------------------------------------------------------------
CHttpFile *CLoadHtmlFile::OpenRemoteFile(LPCTSTR sURL) {
if (m_pRemoteFile!= NULL) {m_pRemoteFile->Close(); m_pRemoteFile= NULL;}
if (sURL != NULL) strcpy(m_sUrl,sURL);
int nLen = (int)strlen(m_sUrl);
// if (m_sUrl[nLen-1] == '/') m_sUrl[nLen-1] = 0;
try {
m_pRemoteFile = (CHttpFile*)m_pSession->OpenURL(m_sUrl,1,INTERNET_FLAG_TRANSFER_BINARY|INTERNET_FLAG_RELOAD|INTERNET_FLAG_DONT_CACHE|INTERNET_FLAG_NO_UI);
} catch (CInternetException* pEx) {
pEx->GetErrorMessage(m_szCause,254,NULL);
char *s = m_szCause;
while (*s) {if (*s=='\n') *s = 0; *s++;}
pEx->Delete();
m_pRemoteFile = NULL;
}
return m_pRemoteFile;
}
//---------------------------------------------------------------------------------
int CLoadHtmlFile::DoRequest() {
int nErrNum = 0;
try {
CString szInfo="Info";
m_pRemoteFile->SendRequest(NULL);
try {
m_pRemoteFile->QueryInfo(HTTP_QUERY_RAW_HEADERS_CRLF, szInfo);
try {
m_pRemoteFile->SendRequest(NULL);
for (int i=0; i < 3; i++) {
//pView->m_csThreadStatus.Format("Warte %d Sekunden",g_nWaiting-i);
//pView->PostMessage(CM_SHOWTHREADSTATUS,NULL,NULL);
Sleep(1000);
}
} catch (CInternetException* pEx) {
pEx->GetErrorMessage(m_szCause,254,NULL);
char *s = m_szCause;
while (*s) {if (*s=='\n') *s = 0; *s++;}
pEx->Delete();
//bDo = false;
nErrNum = 3;
}
} catch (CInternetException* pEx) {
pEx->GetErrorMessage(m_szCause,254,NULL);
char *s = m_szCause;
while (*s) {if (*s=='\n') *s = 0; *s++;}
pEx->Delete();
//bDo = false;
nErrNum = 2;
}
} catch (CInternetException* pEx) {
pEx->GetErrorMessage(m_szCause,254,NULL);
char *s = m_szCause;
while (*s) {if (*s=='\n') *s = 0; *s++;}
pEx->Delete();
//bDo = false;
nErrNum = 1;
}
return nErrNum;
}
//---------------------------------------------------------------------------------
__int64 CLoadHtmlFile::LoadFile() {
m_iFilesize = 0;
if (!CreateInternetSession()) return 0;
if (OpenRemoteFile() == NULL) return 0;
if (DoRequest()) return 0;
UINT rlen = -1;
FILE *op = NULL;
while ((rlen = m_pRemoteFile->Read(m_sLoadBuffer, (UINT)m_nLoadBufferSize)) > 0) {
if (op == NULL) {
op = fopen(m_sOutputFile,"w+b");
if (op == NULL) break;
}
size_t w_size = fwrite(m_sLoadBuffer,1,rlen,op);
m_iFilesize += w_size;
}
if (op != NULL) fclose(op);
return m_iFilesize;
}

Alles anzeigen

hier, schenke ich dir. damit kommt kein müll wenn du den link eingibst.

grisham88 · 9. Dezember 2010

vielen dank, werds nachher testen

der_sammler · 9. Dezember 2010

klappt garantiert, hole damit über 3000 seiten täglich. (eigene tvtv-verwaltung)

grisham88 · 9. Dezember 2010

muss das ganze jetzt nur noch in c# umschreiben^^

adddo · 15. Dezember 2010

hi,

hab versucht das programm runterzuladen, aber rapidshare sagt:
"Unassigned file limit of 10 downloads reached."

würds gerne auch probieren...

lg
adddo

grisham88 · 16. Dezember 2010

so is neu hochgestellt

rolfino · 16. Dezember 2010

Funktioniert tadellos.
Tolles Programm.

Danke

grisham88 · 17. Dezember 2010

danke für die rückmeldung, falls dir noch irgendwas einfällt was du noch gerne hättest was fehlt. Sag mir einfach wie es dir vorstellst und ich versuchs umzusetzen.

smizz · 17. Dezember 2010

Du könntest mal schauen, ob du nicht direkt mit dem JDownloader auf 127.0.0.1 reden kannst um ihm die Links zu schicken. Der horcht nämlich auf Click&Load Anweisungen. Das dürfte auch dokumentiert sein.

Stelle mir sowas vor wie "Sende alle (markierten) Links von Hoster XY an den JDownloader".
Dann analysiert er sie durch, und da wo fehlende/gelöschte Dateien sind markiert man dann die Links von anderen Hostern in deinem Programm und schickt diese auch zum JD, damit er die fehlenden Files von dort läd.

GrooveDown · 18. Dezember 2010

Klappt ziemlich gut dein Programm, lohnt sich für mich allerdings nicht da ich für solche Zwecke den Jdownloader benutze und dieser sich nuneinmal etabliert hat.

Gruß

grisham88 · 19. Dezember 2010

ja, ich weiß das der besser is^^, aber mein prog is eig auch eher dafür da die links aus dokujunkies rauszufiltern weil das der jdownloader nicht macht. Aber da der Aufbau von beiden Seiten gleich ist hab ich fürs beide gemacht.

der_sammler · 20. Dezember 2010

grisham88
ich kann das verstehen, habe schon ewig ein solches programm da den JD auf keinen fall benutzen will.

PS.:
hat dir der source geholfen ?

grisham88 · 20. Dezember 2010

muss ehrlich sagen das ichs net schaff den in c# umzusetzen^^, da meine c++ kenntnisse net so gut sind. Find deine Idee top und wünscht das würd auch bei mir gehen, aber wie gesagt ich kann das selbst net in c# übersetzen damit ichs benutzen könnte.

der_sammler · 20. Dezember 2010

wenn du möchtest, kannst du mir dein source zukommen lassen und ich baue dir das ein.
voraussetzung ist der source ist für visuall-studio c#.

Programm zum Links rausfilten von Seiten

Wie findet ihr das Programm? 0

Teilen