Archivarchivierer (Ein the Pod download tool)

[codingWombat]

Hallo allerseits,
da es jetzt ja die Wunderbaren Archivfeeds gibt, habe ich heute ein Tool geschrieben um alles schön auf mein NAS zu speichern. Die Folgen werden sortiert nach Feed, sprich es gibt einen Ordner für den 10$ Feed (sofern man zugriff hat) und dann jeweils einen pro Jahr. Auch werden die Folgen so benannt das man die schön Chronologisch sortieren kann.
Es gibt das Tool für macOS (getestet auf BigSur) und Windows 10 Pro und zwar hier:

https://github.com/codingWombat/ThePodT ... es/tag/0.1

Die Executeables sind so kompiliert das man keine .net Runtimeumgebung braucht.

Einfach über die Kommandozeile und mit --Directory= --UserKey= aufrufen und schon fängt der Download an.

Der UserKey ist die Alphanumerische Zeichenfolge in eurem Backerfeed und Directory das Zielverzeichnis.

Auf dem mac sähe der Aufruf quasi so aus:
./dev.codingwombat.ThePodTap --UserKey=HierWürdeDerUserkeyStehen --Directory=/Users/codingwombat/tmp/aufeinbier

Das Tool ist smart genug um zu merken was schon komplett runtergeladen wurde falls ihr es beendet und dann neu startet.

Anregungen und Bugs gerne hier oder als Issues auf GitHub.
Das ganze steht unter MIT Lizenz und ist in c# (.net core 3.1) geschrieben, forks und Pullrequests sind immer gerne gesehen.

MfG
codingWombat

[schneeland]

Ich weiß nicht, ob das so im Sinne des Erfinders ist, wenn die Leute sich das Komplettprogramm aufs NAS ziehen, und das Abo im Zweifelsfall nach 'nem Monat wieder kündigen können (geht natürlich streng genommen auch händisch, aber Du automatisierst das Ganze ja mehr oder weniger komplett).

[codingWombat]

Naja das ja nichts was ein Overcast / oder ein beliebiger Feedreader nicht auch kann sprich alles Downloaden und dann offline hören.
Der einzige unterschied ist das ich so eine Möglichkeit habe auch an die Dateien zu kommen bzw sie da zu speicher wo ich möchte und den Komfort habe das sie sinnvoll benannt sind, so das die Dateien sich chronologisch ordnen lassen.

[Voigt]

Ich mein ein gPodder kann so ziemlich das gleiche, habe selber damit mal die ersten 150 Folgen oder so runtergeladen und dann neu in mono encodiert nach ordentlichen Schema benannt und richtige Tags vergeben.

[Andre Peschke]

Hallo allerseits,
da es jetzt ja die Wunderbaren Archivfeeds gibt, habe ich heute ein Tool geschrieben um alles schön auf mein NAS zu speichern.

hmmm... Bin nicht sicher, ob ich das gut finde. Insbesondere wenn da X Leute unsere inzwischen über 1000 Podcasts in kurzer Zeit abpumpen... das könnte blöd sein für den Server, falls das Tool X Files gleichzeitig zieht.

Es ist auch nicht Sinn des Abos, sich mal schnell alles zu ziehen. Dagegen kann ich eh nix machen, aber etwas, dass das komfortabel macht... naja.

Man überzeuge mich, dass das eine gute Idee ist, diesen Thread stehen zu lassen.

Andre

[Desotho]

Ich wage einfach mal zu behaupten, dass es am Ende nur ganz wenige Leute machen werden - zumal die Möglichkeit ja ohnehin längst besteht.

[codingWombat]

Das Tool macht nichts anderes als jeder Podcast Client, außer das es statt einer GUI zu verwenden einfach auf der Kommandozeile läuft. Der Vorteil für mich war einfach das es die Dateien strukturierter ablegt. Keine Panik es wird immer nur eine Datei gleichzeitig geladen, habe da genau aus dem Grund keine Parallelisierung eingebaut (die die meisten sonstigen Clients btw. haben)
Ob du den Thread stehen lässt musst du entscheiden egal wie du entscheidest, böse oder so werde ich dir nicht sein.
Aber wie auch Vogt schon schrieb ist das ja nichts, was nicht diverse andere Clients auch machen können.

Never the less stelle ich das Repo erstmal auf Privat bis Andre sich geäußert hat

[Lurtz]

Vielen Dank für das Tool! Sehe wirklich nicht wieso man den Thread schließen sollte. Als zahlender Abonnent, der gerne archivieren möchte, ist das ein deutlicher Komfortgewinn, weil ihr da halt keine gute Möglichkeit bietet. Wer das mit dem Ziel, es auszunutzen, benutzt, wird eh eine Möglichkeit finden, hab mir auch schon mit curl ganze Feeds runtergeladen. Wer eine GUI braucht kriegt das leicht mit gPodder hin. Mein Plädoyer wäre auch hier den Komfort für zahlende Unterstützer vor die Missbrauchenden zu stellen, zumal die eh leicht andere Wege finden können. Und eure Website macht das Archivieren echt nicht gerade einfacher...

[Voigt]

Bin auch eher auf der Seite der Freiheit, daher lasst den Nutzer die Möglichkeit die Folgen privat zu archiviern wenn er mag. Glaube du Andre wärst auch froh wenn irgendwer privat komplett krawall mal archiviert hätte. ^^

Aber ich bin natürlich nicht der Betreiber. Aber ich denke es machen so wenige dass es wenig Einfluss auf Serverbelastung haben wird, und Projekt ist für mich immernoch Herzensangelegenheit, wo gespendet wird weil ihr tollen Inhalt macht.

Nicht unbedingt wegen der Paywall an sich, weil es so schwer illegal zu beschaffen wäre, *muss* ich zahlen. Fände da den GoG Methodik besser, kein DRM, kein Schutz vor Archivieren, lasst die Leute einfach machen, solange am Ende genug Umsatz für euch und eure Mitarbeiter weiterhin rumkommt.

[schneeland]

An die Serverbelastung hatte ich bei meinem Kommentar weiter oben auch nicht gedacht. Aber eigentlich ist der Deal hier ja: Du schließt ein Abo ab und solange Dein Abo läuft, bekommst Du Zugriff auf Alles. Der Deal ist ja, zumindest meinem Verständnis nicht: Du schließt ein Abo ab und hast damit quasi alle Inhalte von Tag 0 bis heute gekauft und kannst damit machen, was Du willst.

Mein zentraler Punkt ist: ich mag das The Pod-Projekt, die Leute dahinter und dass wir hier unabhängigen Spielejournalismus kriegen wie es ihn sonst viel zu selten gibt. Das Ganze hängt am Abomodell. codingWombats Skript macht es im Zweifelsfall nochmal ein Stück einfacher, das Abomodell zu unterlaufen (auch wenn die grundsätzliche Möglichkeit zum Download natürlich auch schon vorher bestand). Zudem taucht das Ganze hier im Forum auf, einem der Anlaufpunkte für Kunden/Community und man muss es nicht erstmal irgendwo im Netz per Google/Bing/DuckDuckGo suchen.

Entsprechend finde ich mich eher auf der besorgten Seite, die sagt: wird hier nicht das Geschäftsmodell von The Pod ein Stück weit angegriffen?
Wenn André bzw. das The Pod-Team aber sagen: cool, können wir mit leben, dann soll mir das Ganze auch recht sein.

[lnhh]

bloed nur, dass saemtiche Titel bis heute keinem Namensschema folgen... Leider machen das fast alle Podcasts so bloed

hmmm... Bin nicht sicher, ob ich das gut finde. Insbesondere wenn da X Leute unsere inzwischen über 1000 Podcasts in kurzer Zeit abpumpen... das könnte blöd sein für den Server, falls das Tool X Files gleichzeitig zieht.

Nutze schon lange gPodder. Das erlaubt sogar parallele Downloads. Wenn der Traffic fuer euch wirklich so ein Problem ist, solltet ihr die Files echt mal auf nen CDN auslagern. BunnyCDN kostet bspw fast nix (volume pricing): https://bunnycdn.com/pricing -> $0.005 /GB.

https://github.com/codingWombat/ThePodT ... es/tag/0.1

Haste das Repo schon wieder auf private? Schade

[Andre Peschke]

Vielen Dank für das Tool! Sehe wirklich nicht wieso man den Thread schließen sollte. Als zahlender Abonnent, der gerne archivieren möchte, ist das ein deutlicher Komfortgewinn, weil ihr da halt keine gute Möglichkeit bietet.

Nunja, in unserer kleinen Fantasiewelt sollst du ja gar nicht archivieren, sondern abonnieren.

Ich würde auch garantiert jetzt nicht sagen: "Schalt das Tool ab". Aber das hier quasi an offizieller Stelle zu promoten... hm.

Mir ist schon klar, dass das auch früher schon passiert ist etc. Aber ich tu mir schwer damit, dass sozusagen auch offiziell zu unterstützen. Das Abo ist fair genug, dass man es IMO auch für fortlaufenden Access auf das Archiv bezahlen sollte, anstatt sich selbst eines offline anzulegen.

Das Tool macht nichts anderes als jeder Podcast Client, außer das es statt einer GUI zu verwenden einfach auf der Kommandozeile läuft.

Mein Verständnis ist, es macht aber den Vorgang komfortabler und ist damit halt geeignet dazu, dass es mehr Leute nutzen.

Keine Panik es wird immer nur eine Datei gleichzeitig geladen, habe da genau aus dem Grund keine Parallelisierung eingebaut

Das ist schonmal gut. Theoretisch immer noch nicht geil, weil wenn einer 1000 Podcasts hintereinander downloaded, dann besteht seine Connection zum Server eben für X Stunden und nicht nur für ein paar Minuten.

Ich vermute, als Command-Line-Tool ist es nischig genug, dass es nicht irre viele User findet. Von daher sind die technischen Sorgen vermutlich nicht so relevant.

Nutze schon lange gPodder. Das erlaubt sogar parallele Downloads. Wenn der Traffic fuer euch wirklich so ein Problem ist, solltet ihr die Files echt mal auf nen CDN auslagern.

Die laufen längst über ein CDN. Aber bei sehr vielen gleichzeitigen Requests hatten wir in der Vergangenheit Probleme, weil die Files nicht mehr / noch nicht im CDN - Cache waren und dann neu angefragt wurden. Ich bin da technisch nicht versiert genug um zu sagen "das wird kein Problem geben".

Unterm Strich, daher: Ich fühle mich damit nicht wohl. Wer sagt: "Mir wurscht, du stellst dich nur an" - am Ende kann ich da eh nix machen. Falls sich das doch irgendwo serverseitg bemerkbar macht, würde ich mich direkt bei Wombat melden und ihn bitten das Tool wieder wegzusperren.

Andre

[XfrogX]

Ist die Frage nicht eher, würden die Leute die es missbrauchen überhaupt sonst das Abo holen?
Den zumindest für mich ist das Abo halt weil ich direkt auf dem aktuellen Stand sein will. Regelmäßig was neues holen, und dadurch auch ein bisschen gezwungen mal in was, zumindest, rein zu hören das ich bei völliger freier Auswahl wohl übersprungen wäre.

Glaube wenn nun einer einmalig 5$ bezahlt um sich alles runter zu laden dann ist er entweder danach begeistert und will mehr und das regelmäßig, dann Kommt er doch irgendwann ins Abo wenn ihm das Material ausgeht. Oder er würde egal ob er nun alles runter geladen hat oder einfach per Hand 100 folgen ausgesucht und selber gespeichert hat am Ende nicht weiter abonnieren.

Natürlich sollte man schauen das man mit solchen Lösungen die Server nicht „kaputt“ macht. Aber dagegen sprechen würde für mich nur wenn ihr explizit anbietet das man ein Jahr für xx€ kaufen kann, und der Zugang zu den archiven erst nach einem Jahr Abo oder so gegeben wird.
Nur ob das nicht am Ende mehr arbeit macht als es bringt, ich weiß nicht. Zumal man ja trotzdem zumindest dann das letzte Jahr oder so runterladen kann weil das Abo ganz darauf beschränken das man nur hören kann was nach dem Abschluss neu kommt, wäre wohl für neue Leute auch blöd.

[Lurtz]

Nunja, in unserer kleinen Fantasiewelt sollst du ja gar nicht archivieren, sondern abonnieren.

Spannend, das nehme ich tatsächlich völlig anders wahr. Für mich ist das Archiv im weitesten Sinne wie das Gamestar Heftarchiv einfach alles was ihr gemacht habt, also aktuell alles vor 2020 und natürlich will ich das als Abonnent offline verfügbar haben, auch sollte ich das Abo irgendwann mal beenden. Das habe ich bisher auch mit jedem Projekt, wo es aufgrund der Größe realistisch ist, so gemacht.

Mir ist klar, dass euer Modell niemals funktionieren würde, würden alle nach kurzem Abo erstmal monatelang alte Inhalte hören, aber das ist ja faktisch nicht der Fall. Und natürlich wird es die üblichen Hoarder geben, die es tun weil es geht, aber das sind die Leute, die das oft auch eher zum Selbstzweck machen als um einen wirklichen Nutzen daraus zu ziehen. Wie die Leute die früher permanent Spiele gesaugt haben, aber nur einen Bruchteil überhaupt spielen konnten.
Und ich weiß, ihr sagt durchaus zurecht euer Angebot sei relativ zeitlos, aber ganz ehrlich, die wenigsten werden erstmal alles saugen und dann reihenweise Folgen aus 2016 hören

Aber das ist vielleicht auch ein fundamentaler Unterschied in der Betrachtungsweise. Für mich hat es einen Grund, dass jeder Podcatcher die Audiodateien DRM frei auf meinen Client runterlädt. Natürlich darf ich die Datei dann nehmen und damit tun was mir beliebt (eben ich als Person, solange der Creator dabei nicht zu Schaden kommt).
Finde das in der Adblocker Debatte auch immer bezeichnend wenn darüber diskutiert wird ob ein Browser Webseiten verändern darf. Natürlich darf er das, das ist der ganze Grundgedanke hinter dem WWW! Genauso darf mein Browseraddon die ganze Seite umstylen und dunkel machen oder bspw. Inhalte selektiv ausblenden. Aber viele, gefühlt vor allem Leute, die nicht mit dem WWW aufgewachsen sind, sehen das fundamental anders.

(Disclaimer: Bin Backer seit Stunde null, ohne eine Pause)

[Andre Peschke]

Nunja, in unserer kleinen Fantasiewelt sollst du ja gar nicht archivieren, sondern abonnieren.

Spannend, das nehme ich tatsächlich völlig anders wahr. Für mich ist das Archiv im weitesten Sinne wie das Gamestar Heftarchiv einfach alles was ihr gemacht habt, also aktuell alles vor 2020 und natürlich will ich das als Abonnent offline verfügbar haben, auch sollte ich das Abo irgendwann mal beenden.

Das Heftarchiv kostet ja auch extra.
Und Bau mal so ein Tool für deren PDFs und frag sie, ob sie das cool finden... Ich schätze nicht.

In meinem Kopf ist es bei uns eher wie bei Netflix. Für ein "und dann gehören mir alle Podcasts für immer" wäre es IMO zu günstig.

Das es dann praktisch auch mal hier und da anders gehandhabt wird tolerieren wir aber ja schon immer. Will das auch nicht zu hoch aufhängen, weil ihr merkt ja, wir sind da insgesamt entspannt. Im speziellen Fall geht's halt eher darum zu sagen: Das ganze auch noch technisch zu organisieren und dann hier im Forum ganz offiziell einzustellen... Wenn ihr mich fragt, ob ich das gut finde, dann ist die Antwort glaube ich "Nein".

Andre
PS:

(Disclaimer: Bin Backer seit Stunde null, ohne eine Pause)

Da seh ich das natürlich auch nochmal extra entspannt, aber ich kann jetzt nicht anfangen meine Haltung nach Mitgliedszeit zu staffeln.

[lipt00n]

Verstehe beide Positionen sehr gut. Wenn man alle Inhalte lokal speichert, die sich über jahrelanges Backertum ansammeln, ist das ja auch nichts anderes, als Hefte Zuhause im Schrank zu archivieren (oder eben PDF Ausgaben auf der Festplatte). Ein Abo für einen Monat abzuschließen um dann für viele hundert Stunden Material aus dem Archiv zu saugen halte ich allerdings für moralisch fragwürdig.
Ich bin sehr, sehr froh (!), dass ich die technische Möglichkeit habe, eine Datei für mich offline verfügbar zu machen und sie auf den Endgeräten zu benutzen, auf denen ich das möchte (z.B. USB Stick im Autoradio, alte MP3 Player blabla etc. pp.), vor allem auch WANN ich das möchte. Ich "bingehöre" z.B. gerne mehrere Folgen eines Formats hintereinander Wenn da jetzt ausuferndes Leechertum (worst case) irgendwann dazu führen würde, da technische Limitationen vorgeschoben zu bekommen (wie bspw. bei Spotify, wo ich auf den Client angewiesen bin) wäre ich mindestens traurig.

[Lurtz]

Das Heftarchiv kostet ja auch extra.
Und Bau mal so ein Tool für deren PDFs und frag sie, ob sie das cool finden... Ich schätze nicht.

In meinem Kopf ist es bei uns eher wie bei Netflix. Für ein "und dann gehören mir alle Podcasts für immer" wäre es IMO zu günstig.

Das es dann praktisch auch mal hier und da anders gehandhabt wird tolerieren wir aber ja schon immer. Will das auch nicht zu hoch aufhängen, weil ihr merkt ja, wir sind da insgesamt entspannt. Im speziellen Fall geht's halt eher darum zu sagen: Das ganze auch noch technisch zu organisieren und dann hier im Forum ganz offiziell einzustellen... Wenn ihr mich fragt, ob ich das gut finde, dann ist die Antwort glaube ich "Nein".

Ja, für den "Zusatzaufwand", dass man die Artikel quasi mit dem Heftlayout erhält, ansonsten besteht das Heft ja mittlerweile zum größten Teil aus Website- und Plus-Inhalten, also Inhalten, die man mit dem Plus-Abo schon bezahlt hat. Und auch mit nur einem Monat Abo kann ich mir das gesamte Heftarchiv bis 1997 runterladen. Es ähnelt also mehr eurem Abomodell, als dass man einzelne Ausgaben bezahlen müsste oder ein ganz anderes Finanzierungsmodell.

Und nein, so ein Tool würde im Gamestar-Forum sicher nicht stehen bleiben. Dennoch wird auch hier niemand verhindern können, dass man sich ungeschützte PDFs als Abonennt beliebig runterlädt und archiviert. Und früher gab es auch immer wieder Sonderheft-Ausgaben, wo man PDFs vergangener Jahrgänge drauf hatte. Das war ja dann sogar schon archiviert und musste nur kopiert werden. Wenn man sieht wie schlecht die Archivfunktionen bei Angeboten der Spielepresse oft sind, könnte man jetzt auch nicht sagen, dass die Redaktionen selbst großen Wert auf ihr Archiv legen Gilt leider auch für eure Webseite.
Andererseits dürften die meisten Kunden das wohl tatsächlich auch nicht groß finanziell honorieren, in der Regel ist man eben doch vor allem an aktuellen Inhalten interessiert. Was dann aber wieder eher meine These stützt, dass das Archiv gar nicht soo viel wert ist ^^
Wobei sie bei ihren Videos schon irgendeine Form von DRM verwenden, weshalb ihr Player auch nicht mit Chromecast etc. kompatibel ist. Da fängt dann aber auch schon der Punkt an, wo man sich die Frage stellen kann, ob wirklich jemand Bock hat gigabyteweise Gamestar-Videos zu archivieren, oder ob man damit eher Kunden mit Chromecast vergrault, für die das wirklich ein Komfortgewinn wäre. Zumal auch Youtube voll mit alten Gamestar-Videos ist, für die man heute ein Abo zum Abruf über deren Webseite bräuchte.

Wenn ihr euch eher wie Netflix seht, bräuchtet ihr tatsächlich DRM. Das wäre IMO für den Podcast-Markt, der vor allem in den USA sowieso schon stark dabei ist, sich zu konsolidieren, aber mittelfristig eher gefährlich als hilfreich, da das wieder deutlich verschärfte technische Anforderungen stellt und man sich damit wieder von den großen Tech-Konzernen abhängig macht, die sowas bequem und ohne "Friction" an ihre Endkunden, die eh schon ihre Hardware und Software nutzen (iOS, Android, Windows...), ausliefern können. Während die Einstiegshürde die vergangenen Jahre immer sehr niedrig lag und man zwischen manuellem Download und einer Full-Service-App mit Multi-Device-Sync wie Pocket Casts sich das passende Angebot mit minimalen Kosten maßgeschneidert den Kunden überlassen konnte, ohne dass jemand pauschal 30% mitverdient, außer die Gebühren der Crowdfunding-Betreiber und die Zahlungsdienstleister.

Oder man lässt monatlich nur eine gewisse Anzahl an Downloads pro User-ID zu, 250 Folgen oder so. Dann könnte man zumindest nicht alles in einem Monat leechen. Und dass jemand mehr als 250 Folgen in einem Monat hört, ist doch sehr unwahrscheinlich

Will jetzt hier aber auch keine Endlosdiskussion über die Besitzverhältnisse eures Contents vom Zaun brechen, möchte nur meine Sichtweise darstellen.

Da seh ich das natürlich auch nochmal extra entspannt, aber ich kann jetzt nicht anfangen meine Haltung nach Mitgliedszeit zu staffeln.

War so auch nicht gemeint. Wollte nur betonen, dass nicht nur "Schmarotzer" Interesse daran haben könnten und ich die Anzahl der Leute, die das bewusst betreiben würden, im Wissen euch zu schädigen, für eher gering einschätze.
Aber ich habe als Nutznießer ja auch leicht reden, es ist nicht mein Content, der da gehandelt wird

[Andre Peschke]

Wenn da jetzt ausuferndes Leechertum (worst case) irgendwann dazu führen würde, da technische Limitationen vorgeschoben zu bekommen (wie bspw. bei Spotify, wo ich auf den Client angewiesen bin) wäre ich mindestens traurig.

Naja, das ist mir auch zuwider, da müsste schon viel passieren. Eher würde sowas passieren wie „nur ein Jahr inklusive, Archiv kostet extra“ oder sowas. Aber das ist eh alles hypothetisch. Ich lass den Thread stehen, es wird nichts groß sichtbar passieren und das war’s.

Andre

[Mutantenjupp]

Das Heftarchiv kostet ja auch extra.
Und Bau mal so ein Tool für deren PDFs und frag sie, ob sie das cool finden... Ich schätze nicht.

In meinem Kopf ist es bei uns eher wie bei Netflix. Für ein "und dann gehören mir alle Podcasts für immer" wäre es IMO zu günstig.

Das wurde auch mal ganz kurz bei Stay Forever von Gunnar angeschnitten. Im Endeffekt ist das ein Thema, das jeden Monats-Abo-Podcast nach ein paar Jahren betrifft.

Mit der Aufteilung in Archiv-Feeds könntet ihr ja überlegen, ob ihr dafür nach einem definierten Zeitraum Geld verlangen wollt. Irgendein fixer Betrag. Schwierig wird es dann den Wert zu bemessen, erst recht, wenn es um die ganz alten Sachen geht Das würde natürlich nicht das Archivieren der Dauer-Abonnenten verhindern aber die bezahlen auch immerhin den kompletten Zeitraum.

Edit: ich war zu langsam, habe die neueren Beiträge zu spät gesehen. Das meiste wurde ja schon gesagt...

[Voigt]

Fände es unschön falls Archiv extra kosten würde, wenn ich schon seit Beginn Backer bin.