Re: [Kitodo] [Kitodo.Production 2] Probleme mit Metadatengruppen

Lieber Herr Hartwig, wir haben exakt die gleichen Probleme. Ich habe ein Script das alle 15 Min die Vorgänge (meta.xml und meta_anchor.xml ) korrigiert. Das hat das Problem für uns behoben (deutlich verbessert ). Wir hatten den Effekt, das durch den Java-Dump das root-filesystem zu 100% gefüllt wurde und der Server dann Garnichts mehr gemacht hat und nur ein Neustart geholfen hat. Hat etwas gedauert bis wir die Ursache gefunden haben. Mfg Armin Möller -- ****************************************************************** Armin Möller, Administrator Abt. IDM Ref. 2 Tel +49 30 266 432231 Staatsbibliothek zu Berlin PK Potsdamer Str. 33 10772 Berlin armin.moeller@sbb.spk-berlin.de<mailto:armin.moeller@sbb.spk-berlin.de> Von: kitodo-community-bounces(a)kitodo.org &lt;kitodo-community-bounces(a)kitodo.org&gt; Im Auftrag von Uwe Hartwig Gesendet: Montag, 27. Januar 2020 11:04 An: Kitodo-Community &lt;kitodo-community(a)kitodo.org&gt; Betreff: [Kitodo] [Kitodo.Production 2] Probleme mit Metadatengruppen Liebe Community, Wir haben Probleme mit der Verarbeitung und Darstellung von Metadatengruppen. Wir hatte bereits Probleme mit der Verarbeitung, wenn beim Feld "Herausgeber" ("Editor") eine Relation mit mehr als 2 Werten besetzt war, also wenn der „Editor“ beispielsweise sowohl in den Rollen "Vertrieb", "DruckerIn" und "Verlag" vorkam. Der Effekt in diesem Fall ist, dass bei jedem Schreibvorgang das letzte dieser Felder vervielfältigt wurde, also in dem Beispiel die 3.Relation. Das Wachstum war in diesem Fall nicht einfach linear, auch nicht exponentiell, sondern fakultativ. Sobald eine kritische Grenze erreicht war (>100 identische Einträge, dafür reichen bereits 3 Schreibvorgänge), ließ sich der Vorgang nicht mehr öffnen und das komplette Kitodo.Production-System musste für alle Nutzer neu gestartet werden. Das konnten wir mildern, in dem wir die Symptome behandelt haben. Beim Einlesen und Schreiben haben wir Anpassungen im Sourcecode vorgenommen, um die duplizierten Einträge herauszufiltern. Die Quelle des Problems haben wir jedoch nicht gefunden. Es scheint mit der Art und Weise zusammenzuhängen, wie die kitodo-ugh-Library die Metadaten eines Vorgangs einliest. Dazu gab es bereits ein GitHub-Issue im kitodo-ugh Projekt, wobei nicht klar ist, inwiefern das mit unserem aktuellen Problem zusammenhängt. Jetzt haben wir ein weiteres, darauf aufbauendes Problem. Wieder mit Metadatengruppen. Diesmal handelt es sich um den Typ "Schlagwort" (subject). Hier werden wiederum die letzten Elemente der Gruppe vervielfältigt. Die Ursache ist unklar. Das Filtern aus dem vorherigen Fall greift nicht. Allem Anschein nach versucht Kitodo, nicht einfach nur die XML-Daten einzulesen, sondern die zusätzlichen Schlagworte beim Öffnen im Metadateneditor erneut zu resolven, um dann die zusätzlichen Elemente in die logische Struktur zu schreiben. Hat jemand in der Community ein ähnliches Phänomen beobachtet? -- Uwe Hartwig Anwendungsentwickler IT / Digitale Dienste Universitäts- und Landesbibliothek Sachsen-Anhalt August-Bebel-Straße 13 D - 06108 Halle (Saale) Fon: + 49 345 55 22 183 Mail: uwe.hartwig@bibliothek.uni-halle.de<mailto:uwe.hartwig@bibliothek.uni-halle.de>