wview und DEP. FROM NORM Kalkulation bei den NOAA Reports

[Werner]

@Django,

Wview nutzt alle vorhandenen Daten in der SQL-Datenbank (seit Aufzeichnungsbeginn) außer
das aktuelle Monat bzw. Jahr.

Code: Alles auswählen

if( month != record.month )
...
if( year != record.year )

Wußte gar nicht, dass es noch andere Wview Nutzer gibt

[Django]

HI Werner,

streng genommen wird ja erst einmal eine SQLite benutzt, die man dann in eine MySQL/Maria-DB schieben kann. 's Problem dabei ist eben nur, dass dort für die besagten Mittelwerte keine direkten DB-Einträge gibt.

Ist aber nicht so schlimm, denn ich mache nun folgendes. Aus den NOAA REPORTs, die ja als TXT-File vorliegen, hole ich mir die fehlenden Daten und pushe diese in eine eigene Tabelle z.B. noaaHistoryYear. Auf die 16 kB mehr an Tabelspace kommt es bei den letzten 16 Jahren Wetterstationsbetrieb auch nicht d'rauf an. Aktuell habe ich in meiner MariaDB 29 Tabellen mit gesamt 3.927.275 Datensätzen mit einer Gesamtgröße von 806,6 MiB.

Und warum sollte ich etwas anderes nutzen? Wview läuft stabil und ich habe das Ding soweit optimiert, dass die Anzeige am Desktop und am mobile device einigermassen zeitgemäss dargestellt wird. Mit Grafana kann man dann auch zusätzlich noch diverse Statistik-Visualisierungen durchsuchbar anlegen. Und BTW, den Ø 1.500 unterschiedlichen Besuchern mit Ø 4.000 Besuchen, die Ø 2.000.000 Zugriffe tätigen und i.d.R so Ø 30 GB Traffic pro Monat verursachen scheint es zu taugen.

Also wird das die nächsten 10 Jahre auch noch verwendet werden.

Servus

[Werner]

hole ich mir die fehlenden Daten und pushe diese in eine eigene Tabelle z.B. noaaHistoryYear.

Du könntest aber auch gleich die noaaGenerate.c ändern und hier gleich die Tabelle noaaHistoryYear mit erzeugen lassen z.B
über ein zusätzliches outfile.
Hier ein Auszug aus der Jahres-NOAA-Tabellen-Erzeugung.

Code: Alles auswählen

                {
                    // METRIC:
                    fprintf (outfile, "ELEV: %6.1f m    LAT: %4.1f %c    LONG: %4.1f %c\n\n\n",
                             wvutilsConvertFeetToMeters((float)work->elevation),
                             (float)abs(work->latitude)/10.0,
                             ((work->latitude < 0) ? 'S' : 'N'),
                             (float)abs(work->longitude)/10.0,
                             ((work->longitude < 0) ? 'W' : 'E'));
    
                    fprintf (outfile, "                 TEMPERATURE (C), RAIN (mm), WIND SPEED (kph)\n\n");
                    fprintf (outfile, "                            DEP.    HEAT    COOL\n");
                    fprintf (outfile, "          MEAN  MEAN        FROM    DEG     DEG                          MAX   MAX  MIN   MIN\n");
                    fprintf (outfile, " YR  MO   MAX   MIN   MEAN  NORM    DAYS    DAYS     HI DATE   LOW DATE >=32.2 <=0  <=0  <=-17.8\n");
                    fprintf (outfile, "---------------------------------------------------------------------------------------------\n");
    
                    for (i = 1; i < 13; i ++)
                    {
                        fputs (tempMonths[i], outfile);
                    }

Der Nachteil von Wview ist, dass man bei Code-Änderung wieder compilieren muss.

3.927.275 Datensätzen

Soviel Datensätze habe ich nicht, nur aktuell 2.291.523 mit durchgehenden Daten seit März 2002.
Wenn es Dich interessiert, kann ich Dir auch den Weblink dazu geben - ist öffentlich aber nicht Publiziert.

[Django]

Gut das Compilieren auf dem Build-Host und das syncen der compilierten binaries ist schon aufwändig, aber dafür läuft das dann ohne PHP & Co auf dem wview-Host. Letzterer legt dann die Ergebnisse im NAS ab auf die der Webserver dann Zugriff hat. Für mich kein grosser Aufwand.

Na ja, in der DB bei mir sind ja auch noch viele "lokale Informationen" zu Haus(-automations)daten wie Heizung, Gas, Strom, Wasser und PV-Anlage gespeichert, da sammelt sich doch einiges an.

[Django]

So habe fertig: die durchsuchbaren Statistik-(Grafana-)Graphen basierend auf den von wview generierten NOAA-Reports werden nun aktualisiert bereitgestellt:

• NOAA-Report basierend auf den Tages-Reports und -Graphen

• NOAA-Report basierend auf den Monats-Reports und -Graphen

• NOAA-Report basierend auf den Jahres-Reports und -Graphen