{"id":1316,"date":"2020-06-22T10:26:52","date_gmt":"2020-06-22T08:26:52","guid":{"rendered":"https:\/\/lab.ub.uni-leipzig.de\/?p=1316"},"modified":"2020-06-22T13:54:20","modified_gmt":"2020-06-22T11:54:20","slug":"pyg","status":"publish","type":"post","link":"https:\/\/lab.ub.uni-leipzig.de\/en\/pyg\/","title":{"rendered":"pyg \u2014 passable youtube grabber"},"content":{"rendered":"

pyg ist ein Wrap\u00adper f\u00fcr die You\u00adtube<\/a>-API<\/abbr> und erm\u00f6g\u00adlicht das ein\u00adfa\u00adche Abru\u00adfen und Ana\u00adly\u00adsie\u00adren spe\u00adzi\u00adfi\u00adscher Daten. Die Soft\u00adware ist im Rah\u00admen des DFG-gef\u00f6r\u00adder\u00adten Pro\u00adjek\u00adtes zur japa\u00adni\u00adschen Video\u00adspie\u00adle\u00adkul\u00adtur dig\u00adgr<\/a> ent\u00adstan\u00adden. Flo\u00adri\u00adan R\u00e4misch<\/a>, einer der Ent\u00adwick\u00adler von pyg, hat uns zu pyg Rede und Ant\u00adwort gestanden.<\/p>\n

Wie ist die Idee zu pyg entstanden?<\/h2>\n

Im Jahr 2018 haben wir begon\u00adnen in unse\u00adrer For\u00adschungs\u00adgrup\u00adpe die Kom\u00admen\u00adtar\u00adspal\u00adten von You\u00adtube-Vide\u00ados sowie Netz\u00adwer\u00adke von You\u00adtubern zu ana\u00adly\u00adsie\u00adren, um mehr \u00fcber die Rezep\u00adti\u00adon von Video\u00adspie\u00adlen zu erfah\u00adren. Genau\u00ader gesagt wur\u00adde pyg ent\u00adwi\u00adckelt, um uns die For\u00adschungs\u00adar\u00adbeit zu erleich\u00adtern und ins\u00adbe\u00adson\u00adde\u00adre die zu dem Zeit\u00adpunkt tech\u00adnisch weni\u00adger ver\u00adsier\u00adten Forscher*innen zu erm\u00e4ch\u00adti\u00adgen, eigen\u00adst\u00e4n\u00addig und auto\u00adma\u00adti\u00adsiert Daten von You\u00adtube abzurufen.<\/p>\n

Wer sollte pyg benutzen?<\/h2>\n

Jede*r Forscher*in die sich mit You\u00adtubern, deren Vide\u00ados, Rezep\u00adti\u00adon und Netz\u00adwer\u00adken im wei\u00adtes\u00adten Sinn befasst, kann mit pyg even\u00adtu\u00adell Tei\u00adle der Daten\u00ader\u00adhe\u00adbung wesent\u00adlich ver\u00adein\u00adfa\u00adchen bzw. beschleunigen.<\/p>\n

Lei\u00adder muss man an die\u00adser Stel\u00adle aber direkt auch eini\u00adge ein\u00adschr\u00e4n\u00adken\u00adde Din\u00adge erw\u00e4h\u00adnen. Der abruf\u00adba\u00adre Umfang der Daten kann durch Goog\u00adle t\u00e4g\u00adlich ohne Anga\u00adbe von Gr\u00fcn\u00adden oder Vor\u00adwar\u00adnung ge\u00e4n\u00addert wer\u00adden. Ins\u00adbe\u00adson\u00adde\u00adre f\u00fcr For\u00adschungs\u00adan\u00adlie\u00adgen, die auf eine l\u00e4n\u00adger\u00adfris\u00adti\u00adge Daten\u00ader\u00adhe\u00adbung ange\u00adwie\u00adsen sind (z.B. um Schwan\u00adkun\u00adgen, Trends oder \u00e4hn\u00adli\u00adches zu ana\u00adly\u00adsie\u00adren), soll\u00adten damit klar\u00adkom\u00admen, wenn nach einem Teil des Erhe\u00adbungs\u00adzeit\u00adraums kei\u00adne Erhe\u00adbung mehr m\u00f6g\u00adlich ist bzw. wenn dadurch die Soft\u00adware an die \u00c4nde\u00adrun\u00adgen ange\u00adpasst wer\u00adden muss.<\/p>\n

Wie funktioniert pyg?<\/h2>\n

Zun\u00e4chst ein\u00admal ben\u00f6\u00adtigt jede Nutzer*in einen API-Key f\u00fcr die You\u00adtube-API. Die\u00adse Zei\u00adchen\u00adket\u00adte (eine Art Pass\u00adwort) ist die Vor\u00adaus\u00adset\u00adzung die You\u00adtube-API \u00fcber\u00adhaupt nut\u00adzen zu k\u00f6n\u00adnen. Die\u00adser Key muss bei jeder Anfra\u00adge an die You\u00adtube-API mit\u00adge\u00adschickt wer\u00adden. Damit las\u00adsen sich nicht die Her\u00adaus\u00adge\u00adber des Keys, in dem Fal\u00adle Goog\u00adle, nicht nur Anfra\u00adgen einem bestimm\u00adten Account\/Key zuord\u00adnen, son\u00addern auch Limi\u00adtie\u00adrun\u00adgen was Anzahl und Umfang der Anfra\u00adgen angeht einschr\u00e4nken.<\/p>\n

a) f\u00fcr den Nutzenden<\/h3>\n

Ent\u00adspre\u00adchend der von Goog\u00adle bereit\u00adge\u00adstell\u00adten Anlei\u00adtung<\/a> beschafft man sich einen API Key. Anschlie\u00ad\u00dfend kann es auch schon mit der Instal\u00adla\u00adti\u00adon des Pro\u00adgramms los\u00adge\u00adhen. Die\u00adse ist nicht son\u00adder\u00adlich auf\u00adwen\u00addig und unter https:\/\/github.com\/diggr\/pyg<\/a> genau erkl\u00e4rt. Nun kann es eigent\u00adlich auch schon los\u00adge\u00adhen mit der Erstel\u00adlung des ers\u00adten Pro\u00adjekts. pyg hat kei\u00adne gra\u00adfi\u00adsche Benut\u00adzer\u00adober\u00adfl\u00e4\u00adche, son\u00addern wird aus\u00adschlie\u00df\u00adlich \u00fcber die Kom\u00adman\u00addo\u00adzei\u00adle auf\u00adge\u00adru\u00adfen und \u00fcber Text\u00adda\u00adtei\u00aden kon\u00adfi\u00adgu\u00adriert. Das hei\u00dft, man kann den Text\u00adedi\u00adtor der eige\u00adnen Wahl benut\u00adzen (bspw: Note\u00adpad++<\/a>, Nano<\/a>,  Atom<\/a>). Um You\u00adtube-Chan\u00adnels zum Her\u00adun\u00adter\u00adla\u00adden vor\u00adzu\u00admer\u00adken, wer\u00adden die Chan\u00adnel IDs in die von pyg erstell\u00adte Datei channels.yml<\/code> ein\u00adge\u00adtra\u00adgen. Mit dem n\u00e4chs\u00adten Auf\u00adruf des Pro\u00adgramms wer\u00adden alle dort ent\u00adhal\u00adte\u00adnen Chan\u00adnel dann auto\u00adma\u00adtisch heruntergeladen.<\/p>\n

main_group:\n  - channel\/UCdQHEqTxcFzjFCrq0o4V7dg\n  - channel\/UCI06ztiuPl-F9cSXsejMV8A\nother_group:\n  - channel\/UCZzPA6tCoQAZNiddpE-xA_Q<\/code><\/pre>\n
pyg l\u00e4dt ledig\u00adlich Meta\u00adda\u00adten her\u00adun\u00adter und berei\u00adtet die\u00adse zur Wei\u00adter\u00adver\u00adar\u00adbei\u00adtung z.B. in Ela\u00ads\u00adtic\u00adse\u00adarch<\/a> auf. Damit blei\u00adben die her\u00adun\u00adter\u00adge\u00adla\u00adde\u00adnen Daten\u00ads\u00e4t\u00adze rela\u00adtiv kom\u00adpakt. Dadurch, dass pyg kei\u00adne Werk\u00adzeu\u00adge zur Ana\u00adly\u00adse mit\u00adbringt, muss die\u00adse mit Hil\u00adfe eines ande\u00adren Pro\u00adgramms erfol\u00adgen. Wir haben dazu einen Export nach Ela\u00ads\u00adtic\u00adse\u00adarch ein\u00adge\u00adbaut, aber auch ande\u00adre Export\u00adfor\u00adma\u00adte sind denk\u00adbar, aller\u00addings der\u00adzeit nicht implementiert.<\/p>\n
b) f\u00fcr die Entwickler*in<\/h3>\n
Das Pro\u00adgramm befin\u00addet sich mit Doku\u00admen\u00adta\u00adti\u00adon und Quell\u00adtext auf Git\u00adHub<\/a> und kann dort von jeder und jedem her\u00adun\u00adter\u00adge\u00adla\u00adden und ent\u00adspre\u00adchend der Frei\u00adhei\u00adten wel\u00adche die GNU Gene\u00adral Public Licen\u00adse<\/a> ein\u00adr\u00e4umt modi\u00adfi\u00adziert, ver\u00adtrie\u00adben, etc. wer\u00adden. Das Pro\u00adgramm ist voll\u00adst\u00e4n\u00addig in Python (>3.5) imple\u00admen\u00adtiert und benutzt ansons\u00adten noch YAML<\/a> (f\u00fcr die Kon\u00adfi\u00adgu\u00adra\u00adti\u00adon) und Ela\u00ads\u00adtic\u00adse\u00adarch (f\u00fcr den Daten\u00adex\u00adport) als wei\u00adte\u00adre Technologien.<\/p>\n
Welche weiteren Entwicklungen sind geplant?<\/h2>\n
Da wir mit kurz vor dem Pro\u00adjek\u00adten\u00adde ste\u00adhen, wird es von unse\u00adrer Sei\u00adte aus lei\u00adder kei\u00adne wei\u00adte\u00adren Updates der Soft\u00adware geben. Soll\u00adte es inter\u00ades\u00adsier\u00adte Men\u00adschen geben, die die Soft\u00adware main\u00adtai\u00adnen und wei\u00adter\u00adent\u00adwi\u00adckeln m\u00f6ch\u00adten, k\u00f6n\u00adnen die\u00adse ger\u00adne mit dem Bereich Digi\u00adta\u00adle Diens\u00adte der Uni\u00adver\u00adsi\u00adt\u00e4ts\u00adbi\u00adblio\u00adthek Leip\u00adzig Kon\u00adtakt<\/a> aufnehmen.<\/p>\n
Danksagung<\/h2>\n
pyg wur\u00adde im Rah\u00admen des DFG-For\u00adschungs\u00adpro\u00adjek\u00adtes \u201eDaten\u00adba\u00adsier\u00adte Spu\u00adren\u00adsu\u00adche glo\u00adba\u00adler Ein\u00adfl\u00fcs\u00adse japa\u00adni\u00adscher Video\u00adspiel\u00adkul\u00adtur\u201c (DFG Pro\u00adjekt\u00adnum\u00admer 316697723<\/a>) an der Uni\u00adver\u00adsi\u00adt\u00e4ts\u00adbi\u00adblio\u00adthek Leip\u00adzig in Koope\u00adra\u00adti\u00adon mit der Japa\u00adno\u00adlo\u00adgie des Ost\u00adasia\u00adti\u00adschen Insti\u00adtuts der Uni\u00adver\u00adsi\u00adt\u00e4t Leip\u00adzig entwickelt.<\/p>\n
Autor<\/strong>: Flo\u00adri\u00adan R\u00e4misch<\/a><\/p>\n
\n\t
<\/div>\n\t
\n\t\tDark Mode<\/span>\n\t<\/div>\n\t
\n\t\t\n\t<\/div>\n\t
\n\t\t
\n\t\t\t\n\t\t\t\t\n\t\t\t\t\tpyg\n\t\t\t\t\t(this link opens in a new window)<\/span>\n\t\t\t\t<\/a>\n\t\t\t<\/strong>\n\t\t\t\n\t\t\t\tby\n\t\t\t\t\tdig\u00adgr\n\t\t\t\t\t(this link opens in a new window)<\/span>\n\t\t\t\t<\/a>\n\t\t\t<\/em>\n\t\t<\/p>\n\t\t
pyg \u2014 Pas\u00adsa\u00adble You\u00adTube Grab\u00adber. Gene\u00adra\u00adte rese\u00adarch data\u00adsets con\u00adtai\u00adning You\u00adTube video meta\u00adda\u00adta, cap\u00adti\u00adons and comments.<\/p>\n\t\t
\n\t\t\t\n\t\t\t\t<\/span>\n\t\t\t\t2 Subscribers <\/span>\n\t\t\t\n\t\t\t\t<\/span>\n\t\t\t\t2 Watchers <\/span>\n\t\t\t\n\t\t\t\t<\/span>\n\t\t\t\t1 Fork <\/span>\n\t\t\t\n\t\t\t\tCheck out this repo\u00adsi\u00adto\u00adry on GitHub.com\t\t\t\t(this link opens in a new window)<\/span>\n\t\t\t<\/a>\n\t\t<\/p>\n\t<\/div>\n<\/div>\n
Kon\u00adtakt<\/div>
F\u00fcr Fra\u00adgen und Anre\u00adgun\u00adgen zum The\u00adma wen\u00adden Sie Sich bit\u00adte an die Ansprech\u00adpart\u00adner<\/a> des UBLabs.<\/div><\/div>