Meeting_Minutes_WF-WDCC-2010-09-15

Teilnehmer: Martina, Heinke, Hannes, Hans, Hans-Hermann

Agenda

  1. Ablauf ab Datenankunft am WDCC bis Ende QC L3 durchgesprochen
  2. Ingest Metadaten in CERA2
  3. Data_Access-Struktur

Ablauf am WDCC

Der Ablauf wird noch in einer Abbildung nachgereicht.

  1. Daten werden auf Blades von Platte eingespielt oder von Blizzard dorthin kopiert.
  2. ESG-Publisher ( = QC L1 )
    • Hans erzeugt CERA2 XMLs für Experiment, Dataset_Group und Dataset und legt sie im Repository ab. Hans-Hermann lädt die Metadaten in CERA2 und löscht die Metadaten im Repository. Die Aktualisierung von Repository Metadaten und CERA2 ingest erfolgt täglich. CERA2 ingest erfolgt unter Löschen der bisherigen und Neufüllen der neuen Metadaten. Es wird gecheckt, ob ein DOI vergeben wurde. Hans erzeugt nur Metadaten bei zeitlichen Änderungen seit der letzten Aktualisierung (täglich). Hier sollte vielleicht die Häufigkeit des Publishing noch berücksichtigt werden. Ohne Publishing kann sich auf dem TDS nichts geändert haben.
    • Die QC läuft nur auf vollständigen Daten (Core - auf Platte eingetroffen und von ESG Publisher publiziert; MPI-M - wenn vollständig auf Blades). Die QC L2 Ergebnisse werden in der QCDB gesammelt. Die Metadaten in CERA2 werden ergänzt: Quality und Contact (Durchführender der QC) über Funktionen direkt in CERA2, Addinfo-Metadaten werden im Repository bereitgestellt, Addinfo-Files verbleiben auf den Blades: /gpfs_10/home/cmip5qc/export. Senden der Quality Metadaten an CMIP5-Metadaten-Repository mit Kopie als Addinfo in CERA2. ( = QC L2 )
  3. QC L3 / STD-DOI Publication mit Atarrabi läuft alles innerhalb CERA2
  4. DOI-Veröffentlichung über Webservice TIB; Export Metadaten für CMIP5-Metadaten-Repository ( = QC L3 ); Information DOI-Autor

Data Access Struktur

Wesentliche zu klärende Punkte

Aufgaben

1.) (hh) CMIP5 Test-Beispiel mit der vereinbarten access Struktur

http://cera-www.dkrz.de/WDCC/ui/Entry.jsp?acronym=MXELr4 (dsg)

http://cera-www.dkrz.de/WDCC/ui/Entry.jsp?acronym=MXELr4M_Atas (ds)

storage und external_pointer Einträge sollten aussehen wie abgesprochen

2.) (hh) package mit functions für den Update (cera2.updc5) ist angelegt

Beschreibung: sqlpus login (cera2_updc5@pcera)

FUNCTION UPDC5_CONTACT RETURNS BINARY_INTEGER

Argument Name

Type

In/Out Default

ENTRY_NAME

VARCHAR2(160)

IN

CONTACT_TYPE

VARCHAR2(80)

IN

EMAIL

VARCHAR2(80)

IN

FUNCTION UPDC5_QUALITY RETURNS BINARY_INTEGER

Argument Name

Type

In/Out Default?

ENTRY_NAME

VARCHAR2(160)

IN

ACCURACY_REPORT

VARCHAR2(2000)

IN

CONSISTENCY_REPORT

VARCHAR2(2000)

IN

COMPLETENESS_REPORT

VARCHAR2(2000)

IN

HORIZONTAL_ACC_REPORT

VARCHAR2(2000)

IN

VERTICAL_ACC_REPORT

VARCHAR2(2000)

IN

SPECIFICATION

VARCHAR2(2000)

IN

Aufgaben von Heinke hinzugefügt

MadWiki: Meeting_Minutes_WF-WDCC-2010-09-15 (last edited 2010-10-20 09:31:19 by MartinaStockhause)