E2 Serien Backend

  • Hallo zusammen,


    Viele haben vermutlich die Diskussion beim SerienRecorder und SeriesPlugin verfolgt.


    Ich habe nun das offene Gespräch gesucht und es scheint, als können wir mit Wunschliste zu folgender Lösung kommen:


    • Ein Proxy für alle Serien Plugins: SR, SP
    • Nur der Proxy stellt die Requests
    • Ein definierter User Agent: "Enigma2-Serienplugins"
    • Prominente Nennung von wunschliste.de innerhalb des Plugins
    • User des Plug-Ins sollen einen Account bei wunschliste.de registrieren
    • Der Proxy kann nur von einem registrierten User verwendet werden (?)
    • Mindestens einen Ansprechpartner für den Proxy
    • Der Proxy unter Open Source (GitHub) verwalten (?)


    Da wir im Vorfeld, durch die vielen Anfragen, den Betrieb bei Wunschliste gestört haben und noch immer stören, forciere ich einen möglichst schnellen Umstieg.


    Ich möchte mich hier auch noch bei Wunschliste bedanken, dass Sie trotz allem noch kooperativ sind und uns unterstützen.


    Buy me a beer ;)

    • Offizieller Beitrag

    Das klingt doch gut. Aber was ändert sich, wenn es über einen Proxy gehen soll?
    Die Useranfragen werden dadurch doch nicht weniger?
    Und mit einer Werbeeinblendung PopUp beim manuellen Nutzen des Plugins finde ich auch nicht störend. Im Betrieb beim automatischen Abgleich wäre es schon störend. Andererseits könnte ich mir eine Einblendung wie beim InfoBarTunerState durchaus vorstellen.

  • Der Proxy soll die Anfragen cachen bzw. die Daten entsprechend bereitstellen.
    (Muss ich noch mit Wunschliste ausdiskutieren)


    Wenn dies zentral geschieht, sollten wir die Anzahl Anfragen, massiv senken können.


    Das Ziel wäre dann auf eine Anfrage pro Serie und Tag zu kommen. Was wir tatsächlich erreichen, wird sich noch zeigen.


    Zu der Werbung, im SeriesPlugin, ist Sie für die Live Ansicht und für die Film Info bereits enthalten. Für den Suchlauf könnte man es so gestalten, wie beim AutoTimer. Es wird ein PopUp für maximal 3 Sekunden angezeigt. Wenn die Suche nachts läuft, bekommt man natürlich nichts mit.


    Ich habe momentan eher Sorgen, dass sich das nicht mit einem FreeHoster umsetzen lässt...

  • einfall hat ja bereits einen Server bei einem Free-Hoster aktiviert, auf dem ich schon Versuche gemacht habe, dort hätten wir eine Datenbank zur Verfügung und PHP. Über PHP könnte man mit Wunschliste kommunizieren und die Daten aufbereitet für 24 Stunden in der Datenbank cachen, dann würde ein Cronjob die Datenbank aufräumen. Alternativ müsste man mal gucken ob es einen OpenSource Proxy Lösung gibt die man auf dem Server installieren kann.

  • Der Cron job darf aber nicht alles aufeinmal löschen, sonst haben wir wieder die gleiche Situation und es werden viele Anfragen auf einmal gestartet.


    Besserer Weg:
    Prüfen ob ein alter Eintrag vorhanden ist
    Wenn vorhanden, ist er noch aktuell oder veraltet
    Wenn veraltet, neue Daten holen

  • Hi Leuts,


    Hört sich ja nach einer möglichen Lösung an! Da ich weder Python programmieren noch einen Proxy zur Verfügung stellen kann, würde ich wenigstens bei Bedarf 25 Euro für die Infrastruktur spenden, wenn mir nur gesagt wird, wohin...


    Die Betonmöwe

  • Ja, die Daten müssen mit einem Timestamp versehen werden, sodass der cronjob nur die abgelaufenen Daten löscht - so können wir auch bestimmen, wie lange die Daten auf dem Proxy bleiben.


    Die Schnittstelle die ich für den SerienRecorder vorgesehen habe und auch schon in PHP und rudimentär in Python gebaut habe, benutzt json-rpc für die Datenschicht.

    • User des Plug-Ins sollen einen Account bei wunschliste.de registrieren



    Habe ich schon seit Jahren. :)


    Danke, dass du das Gespräch mit WL gesucht hast, und es wohl zu einer Lösung kommen kann, klasse.


    Auch ich bin bereit, eine kleine, feine Paypal-Spende springen zu lassen. :500:

  • Toll! Die Bedingungen hören sich sehr vernünftig und umsetzbar an.
    Insbesondere die zwei Punkte "Prominente Nennung von wunschliste.de innerhalb des Plugins" und "User des Plug-Ins sollen einen Account bei wunschliste.de registrieren" sind zwar technisch nicht nötig, helfen aber sicher dauerhaft wunschliste.de und das ist ja in unserem Interesse. Ich wette, dass die Plugins so noch zu bedeutenden Werbemitteln für die Betreiber werden können.


    Dass die beiden Plugins tatsächlich so viele Anfragen produzieren, dass der Betrieb gestört wird, war vermutlich niemandem bewusst. Genau aus dem Grund sollte man aber den Proxy wohl nicht bei einem Free-Hoster unterbringen. Mit Spenden wird sich sicher ein guter Webspace oder gar eigener Server finanzieren lassen.
    Es muss eben nur jemand bereit sein das auf sich zu nehmen, alles vorzuschießen und das Risiko zu tragen (welches wohl nicht groß ist. Zur Not wird der Proxy einfach abgeschaltet).


    Was ich noch nicht ganz verstehe: Der Proxy soll Open-Source sein, aber es soll nur einen offiziellen Partner und Proxy geben? Das widerspricht sich finde ich ein bisschen, weil dann ja auch einfach Alternativ-Proxy und gepatchte Plugins entstehen werden.
    Oder will wunschliste.de den Proxy mit einer Art API-Key sichern?

    so long
    m0rphU



    :aufsmaul: Kein Support per PN! :aufsmaul:

  • Servus,


    sorry, für das OT:


    aber kann Wunschliste uns nicht unter Angabe einer Frist wieder freischalten, bis das alles geregelt ist? Eine Abschaltung - wie geschehen - von heute auf morgen, finde ich irgendwie nicht nur nicht hilfreich sondern absolut unproduktiv

  • Wunschliste hat nicht von heute auf morgen abgeschaltet, wir haben deren Gegenmaßnahmen nur immer wieder überwunden, irgendwann wussten die sich nicht anders zu helfen. Aus meiner Sicht verständlich bei über 5 Millionen Zugriffen auf deren Server pro Monat von unseren beiden Plugins.

  • dies ist ja mal ne ordentliche Hausnummer ... d.h. (wenn ich mich nicht verrechnet habe) pro Plugin pro Sekunde ca. einen Zugriff. Da kann ich die Reissleine auch verstehen ...

  • Zitat

    Aus meiner Sicht verständlich bei über 5 Millionen Zugriffen auf deren Server pro Monat von unseren beiden Plugins.


    Kann diese "Flut" dann überhaupt ein Proxy stemmen der privat geführt wird?

    -->
    openwrt + minicom + screen = 24/7 Bootlog

    Einmal editiert, zuletzt von Schnello ()

  • Ich weis jetzt nicht inwiefern man das umsetzen kann, aber wie wäre es wenn man über seinen Account bei WL auch seine Serien verwalten kann? Somit würde man Zeit auf deren Seite verbringen, was denen wieder Werbeeinnahmen bringt?

  • Das werden wir sehen, der Proxy ist ja auch nicht privat gehostet, sondern im Rechenzentrum, aber evtl. müssen wir noch mal auf einen stärkeren Rootserver umziehen. Unser Vorteil ist, dass der Server nur die Plugin Anfragen stemmen muss, der Wunschliste Server muss auch die zahlreichen normalen Besucher abarbeiten und die aufwändigen Seiten ausliefern.


    Ich bin da ganz zuversichtlich auch, dass wir dadurch die Wunschliste Server entlasten.

  • Zitat

    Original von m0rphU...
    Was ich noch nicht ganz verstehe: Der Proxy soll Open-Source sein, aber es soll nur einen offiziellen Partner und Proxy geben? Das widerspricht sich finde ich ein bisschen, weil dann ja auch einfach Alternativ-Proxy und gepatchte Plugins entstehen werden.
    Oder will wunschliste.de den Proxy mit einer Art API-Key sichern?

    Hi, die Punkte mit einem ? stehen noch nicht entgültig fest.
    Um gegenüber Wunschliste mehr Transparenz zu zeigen, könnte man die Sourcen veröffentlichen. Der Proxy könnte dann einen geheimen User Agent verwenden und oder wir melden die IP des Proxy an Wunschliste...

    • Offizieller Beitrag

    Interessant was da alles hinter den Kulissen solcher Plugins abläuft. Diese Seite sehen bzw. kennen wohl die wenigsten User, oder verschwenden keinen Gedanken daran, was solche Plugins und deren Supporter wirklich leisten.


    :thx:

  • Das ist in vielen Bereichen so, aber wir leben in einer Service Gesellschaft wo der Service kostenlos sein muß.