EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

[Mike97]

Leider geht EWCSVMerge wieder nicht mehr, da die CSV ja mit der Firmware 1.10 wieder angepasst wurde.

es werden damit dem SD-Karten Archiv drei weitere Messgrößen hinzugefügt und die YYYYMMZ.csv Datei-Kopfzeile (Header)erweitert:
- 24h rain und Piezo 24h rain werden nach rain rate und piezo rain rate eingefügt
- windDir_10min_avg wird hinter Wind Direction eingefügt

Langsam nervt das schon ein bisschen mit den ganzen Anpassungen an der CSV...

[olicat]

Hi!

Probier mal bitte diese Beta v0.9 und gib Rueckmeldung, ob diese zufriedenstellend funktioniert. Ich muesste da ggf. demnaechst noch einen Schalter einbauen, der statt der bisher genutzten Windrichtung das Feld fuer das 10min-Mittel nutzt.
Auch ist spannend, ob man statt dailyrain nicht den neuen 24h-Wert nutzen moechte.
Haben die Nutzer da spezielle Praeferenzen?
Danke!

Oliver

[Gyvate]

Langsam nervt das schon ein bisschen mit den ganzen Anpassungen an der CSV...

Also wollt ihr die neuen Werte (letzte 24h Regen, 10 Min WIndrichtungsdurchschnitt) gar nicht haben ?

Da kommt Ecowitt endlich lang gewüschten Anforderungen nach und dann ist es auch nicht genehm ...
Sie könnten ja die neuen Daten im GW3000 und der WS6210 oder HP25x0 nicht speichern, aber dann wäre das Geschrei auch groß.
Das hört sich für mich stark wie "Wasch mich, aber mach mich nicht nass" an.

Aus der Gesamtsicht ist WSWin ein nachgeordneter "Nebenkriegsschauplatz", und wenn die Versorgung mit Daten weiter klappen soll, muss eben im bestehenden Szenario je nach Programmieransatz das Konversionsprogramm geändert werden.

Wenn neue Sensoren oder abgeleitete Sensorwerte kommen, wird auch das http API erweitert (die CSV-Dateien sind ja ein Teil-Abbild davon). Da müssen auch die Entwickler der Datenloggerprogramme (WeatherDisplay, weewx, Meteobridge, CumulusMX etc.) ran, insbesondere die, die bei Datenausfall auf die SD-Kartendaten zurückgreifen - nur machen die das "automatisch" via API-Zugriff, aber die müssen auch alle ändern, wenn man alles haben will. (nur bei GW3000, WS6210 - nicht HP25x0).
Die Datenstrukturen für WS6210, GW3000 und HP25x0 sind übrigens gleich.

Man könnte auch den Standpunkt annehmen, dass WSWin das Ecowitt Ecosystem immer noch wie vor 10-15 Jahren als für nicht ausreichend bedeutsam behandelt und keine automatische Schnittstelle, wie das die anderen bekannten Datenloggerprogramme machen, anbietet. Nur deshalb gibt es die Notwendigkeit für CSV-Merge.
Sonst könnte man für ein paar Euro einen GW1100 neben seine HP25x0 Konsole packen und alles wäre gut (ein GW3000 wäre natürlich noch besser).
Meine WS2320 wurde damals (vor 8 Jahren und heute auch noch) z.B. auch nicht von Weather Display, meinem ersten Datenloggerprogramm, unterstützt. Man ist aber dort sehr schnell auf den GW1000-Zug aufgesprungen und seitdem werkelt ein GW1000 parallel und liest die Daten mit (Direktimport).

Bei der HP25x0/Froggit HP1000Pro/ Froggit HP2000 Konsole kommt eben noch hinzu, dass es dort einen Schnittstellenbruch gibt und nicht direkt auf die SD-Kartendaten zugegriffen werden kann. Viele haben sich auch dort für die Parallellösung für ihre nicht-WSWin Datenlogger entschieden, da diese die Ecowitt-APIs unterstützen.

Freundlicherweise hat @olicat das EWCSVMerge entwickelt - muss allerdings auch bei Veränderungen immer Anpassungen machen.

Bei einer Datenabfrage auf der Datenloggerprogrammseite (WSWin) würden bei einer solchen Änderung auf Grund neuer Sensorwerte (bei passeender Programmierung) erst mal nur die neuen Sensorwerte fehlen und der Benutzer, der diese Werte ggf. gar nicht nutzt, wäre auch nicht beeinträchtigt.
CumulusMX hat das bespielsweise so gelöst, dass die Reihenfolge unerheblich ist und bei neuen Werten diese erst einmal einfach ignoriert werden. So ist der Benutzer nicht eingeschränkt und die Nachbesserung erfolgt z.B. im monatlichen "Patch-Day".

[Mike97]

Gyvate ruhig Blut, ich meinte das nicht halb so scharf, wie du das anscheinend aufgefasst hast. Es kamen aber jetzt mehrere Firmwares mit veränderten CSVs direkt hintereinander raus. Dann hat man (in diesen fall olicat) halt direkt wieder die Rennerei das Programm dem neuen Format anzupassen. Mittlerweile hab ich ein wenig die Sorge ihn damit zu nerven, immerhin ist das mindestens die dritte Anfrage in den letzten Monaten.

Ich bin froh das Ecowitt die Wünsche der Nutzer ernst nimmt. Es ist nur etwas unglücklich gelaufen, das es jetzt halt mehrere Anpassungen der CSV bedingt hat.


@olicat:

Der schmeißt die Timestamps also z.B. 1753999295 in die ID3 rein. Dafür sind, so vermute ich, alle nachfolgenden IDs um einen nach rechts verschoben. In meinem Fall sind anstatt Soilmoisture 1-3 (ID29-31) die 3 Sensoren bei 2-4 drin (ID30-32) mein einzelner Blattfeuchtesensor ist bei leafwet2 und meine 3 Bodentemperaturfühler sind ebenfalls bei Soiltemp 2-4 (ID14-16).

Hier die Importdatei:

EXP08_25.rar

(428.71 KiB) 3-mal heruntergeladen

[olicat]

Hi!

Der schmeißt die Timestamps also z.B. 1753999295 in die ID3 rein.

Offenbar kommen Deine Daten von einer HP255xC?
Ich habe die Version hier mit den Daten von einem GW3000 getestet und sehe da keine Auffaelligkeiten.
Schick mir mal bitte die Input-Daten.

Oliver

[Mike97]

Nein das sind Daten von meinem GW3000.

Hier die Input-Dateien:

202508B.zip

(471.87 KiB) 4-mal heruntergeladen

202508Allsensors_A.zip

(267.09 KiB) 3-mal heruntergeladen

Das sind zwei Dateien, da sie zusammen auch komprimiert zu groß waren.

Nicht wundern das bei der "202508B" es erst bei 00:02Uhr losgeht, wie der Name schon zeigt gibt es eine 800B große erste Datei, die aber noch das alte Format hat. Hatte um 0Uhr das Update gemacht. Die wollte ich gesondert einlesen lassen, damit es da nicht komplett durcheinandergeht.

[olicat]

Sorry,

das war vorhin leider ein Schnellschuss unter falschen Voraussetzungen.
Mit der jetzt auf dem Server verfuegbaren Version sollte es aber klappen.
Bitte testen und zurueckmelden.
Danke!

Oliver

[Mike97]

Sorry,

das war vorhin leider ein Schnellschuss unter falschen Voraussetzungen.
Mit der jetzt auf dem Server verfuegbaren Version sollte es aber klappen.
Bitte testen und zurueckmelden.
Danke!

Oliver

Hat super funktioniert, vielen Dank!

[olicat]

Moin,

wenn jetzt noch jemand bestaetigen koennte, dass diese Version auch mit den Daten der HP25xxC klarkommt, wuerde ich diese als stable veroeffentlichen.

Ansonsten haette ich noch gern Euer Feedback hinsichtlich der Nutzung des 24h-Regenwerts (statt des bisher genutzten Regen-heute-Werts) und der Priorisierung der Mittelwert-Windrichtung statt des bisherigen einzelnen Werts.
Ich persoenlich wuerde wohl bei dem Tageswert des Regens bleiben (dailyrain) und nicht den Wert der letzten 24h nutzen und - sofern verfuegbar - die 10min-Mittelwerte (Windrichtung, Windgeschwindigkeit) an WSWin weitergeben.
Wenn es da andere Vorstellungen gibt, muesste man das konfigurierbar machen.

Oliver