Thema: Qualitätssicherung (QC) bei Modelldaten

- HDH spricht über sein Tool welches die Qualitätscheck auf Modelldaten durchführt

- Launcher wird auf der IBM unter AIX nicht funktionieren

- QC wird auf den Blades durchgeführt werden, die Blades sind zusammen mit 750 TByte Plattenplatz gerade neu beschafft worden

- Diskussion über die Anbindung an das Blizzard Filesystem GPFS (= /work - Bereich auf der Blizzard)

- in welchem 'Datenstadium' (Rohdaten, Afterburner, CMOR2,...) soll die QC stattfinden?

- Metadaten werden damit nicht geprüft, Metadatenprüfung findet woanders statt und ist hier nicht Thema

- Hannes hat eine Liste mit Prüfpunkten aufgestellt

- Checks;

- Einfüllen in CERA heisst momentan Einfüllen von Metadaten, der Zugriff auf Container Files bleibt erstmal aussen vor

- IPCC Datenknoten (Blade Server) hat die CMIP5 Struktur (siehe Liste von Karl Taylor), Zugriffe über CERA werden nur über den Bifile Mechanismus gemacht, kein Verfahren für transparenten Zugriff, nur Pointer auf Dateien und Zugriff dann über FTP

- 90% der Daten werden auf Tape sein

- IPCC Datenknoten Daten MÜSSEN durch QC gelaufen sein!

- IPCC Datenknoten Verzeichnisstruktur wird durch die CMOR2 Programme erzeugt

- Datentransport

- Datentransport Blizzard --> Date Node (Blade) muss kontrolliert werden: mit CHECKSUMME vorher und nachher, dann vergleichen

- !!!Wichtiger Punkt: wie lange Zeit ist für die einzelnen Schritte vorhanden, reicht Platz/Zeit Verhältnis (in /work) für das komplette Abarbeiten von zwei Experimenten aus?

- Metadaten könen vor dem Start der Rechnungen eingepflegt sein, HHW hat die Liste von KT schon eingepflegt

- QC Ablauf und Ergebnisse werden in einem CERA Repository dokumentiert

- CHECKSUMME soll auf jeden Fall auch in CERA in den Metadaten abgespeichert werden

- QC Ausgaben bekommen 1 TByte Plattenplatz, vermutlich beanspruchte gesamte Rechenzeit (für QC) wird ca. 1 Monat sein

Arbeitsaufträge:

Kommentare, Ergänzungen??

!!!HDH, bitte vielleicht noch deine Präsentation hier veröffentlichen?

MadWiki: Meeting_Minutes_CMIP5-2009-12-08 (last edited 2009-12-08 13:48:44 by HansRamthun)