EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

Für Geräte von froggit
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#11

Beitrag von LSchenk »

Hallo Oliver,

könnte man mit dem EWCSV auch die Standard- sowie die Extra-Dateien aus CumulusMX zusammenführen?
Heißen .txt, sind aber inhaltlich reine csv schon mit ";" als Trenner.

Gruß, Lutz
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 411 mal
Kontaktdaten:

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#12

Beitrag von olicat »

Hi!
könnte man mit dem EWCSV auch die Standard- sowie die Extra-Dateien aus CumulusMX zusammenführen?
Nein.
EWCSVmerge sammelt die verschiedenen Dateien der SD-Karte einer HP2551C/HP1000SE Pro-Konsole ein und konvertiert diese in ein CSV und (optional) in eine Datei, die WSWin direkt verarbeiten kann.

Natuerlich koennte man auch ein Prograemmchen schreiben, das die CMX-Datei in das direkt importierbare Format fuer WSWin konvertiert.
Es muesste sich halt nur jemand finden, der dies macht.
Ich selbst nutze CMX nicht und habe daher keine groesseren Ambitionen, mich da zu betaetigen.
Sorry!

Inhaltlich geht es vermutlich nur darum, in der Standarddatei von CMX alle erforderlichen Daten neben der Zeit zu "merken" und die Zeit als Index fuer die Extra-Datei zu nutzen, um dort die fehlenden Daten herauszufischen.
Dann muessen all die gemerkten Daten und die Zeit in ein WSWin-kompatibles Format gebracht werden (Umrechnung, Reihenfolge der Felder, Header) und in eine entsprechende Datei zu schreiben.

Sofern Du einen Linux-Rechner hast, der 24/7 laeuft, solltest Du ueber den Einsatz von FOSHKplugin nachdenken.
Denn das koennte dann nicht nur unzaehlige weitere Systeme mit den Daten Deiner Wetterstation fuettern sondern parallel dazu natuerlich auch weewx, Cumulus und eben WSWin mit Daten versorgen.

Oliver
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#13

Beitrag von LSchenk »

Hallo Oliver,

ist da vielleicht ein Missverständnis?

Es geht nicht darum, die CSV-Felder beim Zusammenführen schon gleich in die richtige Reihenfolge zu bringen.
Das macht man ja dann beim Einrichten der ...x-csv.cfg.

Mir ging es hier nur darum, zwei verschiedene in CMX vorhandene .csv hintereinander in einer Datei unterzubringen.

Die Dateien sehen wie folgt aus (keine Headerzeilen vorhanden):
08.10.21;22:05;8,9;94;8,0;0,5;0,7;87;0,0;0,0;1031,8;1,4;23,4;55;0,7;8,9;8,9;0,0;0;0,00;0,00;8,1;0;0,0;60;0,0;0,0;8,9;8,9

08.10.21;22:05;0,0;11,5;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;78;0;0;0;0;0;0;0;0;0,0;7,8;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0;0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0;0;0;0;0;0;0;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0

Anhand der Datum/Uhrzeit vorne weg in beiden Dateien dachte ich es ginge so vielleicht.

Das Ergebnis solte dann so aussehen:
08.10.21;22:05;8,9;94;8,0;0,5;0,7;87;0,0;0,0;1031,8;1,4;23,4;55;0,7;8,9;8,9;0,0;0;0,00;0,00;8,1;0;0,0;60;0,0;0,0;8,9;8,9 ;0,0;11,5;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;78;0;0;0;0;0;0;0;0;0,0;7,8;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0;0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0;0;0;0;0;0;0;0;0;0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0,0;0;0;0,0;0,0;0,0;0,0;0,0;0

Gruß, Lutz

Nachtrag, selbst wenn es gehen würde, wird es wohl an WsWin scheitern, da dort nur 110 Felder vorgesehen sind, welche das oben stehende gedachte Erebnis von der Felderzahl her überschreitet.
Nullwerte wegfallen lassen ist auch keine Option, da es ja auch "echte" Daten mit 0 gibt. (UV-Index=0, oder 0,0°c...)
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 411 mal
Kontaktdaten:

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#14

Beitrag von olicat »

Hi!
Das macht man ja dann beim Einrichten der ...x-csv.cfg.
Der Trick bei EWCSVmerge ist, das keinerlei X-CSV-Konfiguration notwendig ist - WSWin verarbeitet die Datei ohne jegliche weitere Konfiguration.
Dafuer muss EWCSVmerge aber eben auch den Aufbau der Eingabedateien genau kennen, um die entsprechenden Felder auch zielgerichtet zu parsen und in der richtigen Reihenfolge im richtigen Masssystem mit dem richtigen Header in die Ausgabedatei zu schreiben.

Rein interessehalber:
Haben die Dateinamen der Standard- und der Extra-Dat immer den gleichen Namen?
Koennte man also ein Programm in einer Batchdatei nutzen, das etwa so gestartet wuerde?

Code: Alles auswählen

CMXmerge.exe c:\CMX\out\standard.dat c:\CMX\out\extra.dat c:\WSWin\Import\outfile.csv
Oder wechseln die Dateinamen (etwa monatlich) und Du muesstest per Wildcard arbeiten?

Oliver
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#15

Beitrag von LSchenk »

Hallo Oliver,

die Dateinamen wechseln zwar eigentlich monatlich aber das kann man elegant umgehen, da CMX intern eine copy-Möglichkeit besteht, die Dateien in einen anderen Ordner zu kopieren und dabei auch gleichzeitig umzubenennen.
Und dies bei jedem Daten-Interval automatsich.

Das mache ich bei mir auch so, damit kann man umgehen, die Import-Dateien monatlich neu angeben zu müssen.

Gruß, Lutz
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 411 mal
Kontaktdaten:

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#16

Beitrag von olicat »

Hi!

Mal eben was zusammengebastelt ...
Unter der Voraussetzung, das Standard-Datei und Extra-Datei tatsaechlich zeitgleich beginnende und fortlaufend aufsteigende Zeiten haben, sollte das Prograemmchen anbei funktionieren.
Es liest zeilenweise aus der Standard-Datei die Zeile ein und merkt sich diese Zeile.
Dann liest es - ebenfalls zeilenweise - aus der Extra-Datei eine Zeile ein und merkt sich alle Daten.
Wenn Feld 1 (Datum) und Feld 2 (Zeit) bei beiden identisch ist, wird ein String in der Ausgabedatei erzeugt, bei der dem String aus der Standarddatei alle Felder (separiert mit Semikolon) ab Feldnummer 3 (also ohne Datum und Zeit) der Extradatei angehaengt werden.
Alle Zeilen der Standard-Datei werden durchgearbeitet.
Der Aufruf erfolgt mit cmxmerge.exe standarddatei extradatei ausgabedatei

Du koenntest es mal versuchen ...

Oliver
Dateianhänge
cmxmerge.zip
(42.4 KiB) 87-mal heruntergeladen
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#17

Beitrag von LSchenk »

Hallo Oliver,

einen ganz lieben Dank, es funktioniert super!

Ich kann diese exe sogar von CMX aus automatisch bei jedem Update mitlaufen lassen.

Ich muss nur noch schauen, wie das mit WsWin läuft, weil dieses im Auto-Import-Modus irgendwie die Log-Dateien offen hält.

Da konnte cmxmerge nicht auf die Logs zugreifen. Habe es jetzt mal in zwei verschiedenen Ordnern organisiert (In/Out).

Das funktioniert soweit, jetzt muss ich noch mit WsWin testen und die x-csv.cfg neu machen.
Ich werde berichten.

LG, Lutz

Nachtrag:
Erfolgsmeldung, WsWin-Import läuft auch. Ich weiß nur nicht wie es wäre, wenn man Daten hinter dem Feld 110 hätte.
Bei mir sind es 29 Felder aus den Standard-Werten, und 90 Felder bei den Extrasensoren. (Eigentlich 92, aber Datum/Uhrzeit entfällt ja hier.)
Da der zusätzliche Temp/Feuchte-Sensor so auf den Plätzen 31 (Temp/ID3) und 41 (Feuchte/ID19) liegt, funktioniert es.
:thumbup:

Einzige kleines zu verschmerzendes Manko: In CMX scheint der Batch vor dem kopieren der Daten in das \In-Verzeichnis zu laufen. Daher sind dann die aktuellen Daten immer erst 5 Minuten später da. Ist aber wie gesagt für mich zu verschmerzen, da ich mir so eine Menge andere Sachen sparen kann.

Ich hatte es erst mit einer 2. Instanz von WsWin und dann Import mit ws_merge probiert, aber das funzt warum auch immer nicht.

So ist es doch etwas einfacher.
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#18

Beitrag von LSchenk »

Hallo noch mal Oliver,

ich hoffe ich darf diesen Faden oder auch besser Deinen Beitrag mit der cmxmerge.zip im pc-wetterstations-Forum verlinken.

Denke mal, da könnte der/die Eine oder Andere WsWin-User auch Gefallen dran finden.

Ich würde das Ganze vielleicht hier im Forum auch noch mal in einem separaten Beitrag als Lösungsvorschlag für die Kombination WiFi-WS / CumulusMX / cmxmerge.exe / WsWin-Import zusammenschreiben, oder meinst Du, es wäre hier im Faden ausreichend behandelt?

LG, Lutz
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 411 mal
Kontaktdaten:

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#19

Beitrag von olicat »

Hi!
ich hoffe ich darf diesen Faden oder auch besser Deinen Beitrag mit der cmxmerge.zip im pc-wetterstations-Forum verlinken.
Gern.
Ich habe dafuer aber nochmal einen separaten Beitrag erzeugt, um den thread hier nicht zu missbrauchen.

Gruss, Oliver
nuredo
Offline
Beiträge: 58
Registriert: 31 Jan 2021, 08:57
Hat sich bedankt: 16 mal
Danksagung erhalten: 2 mal

Re: EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

#20

Beitrag von nuredo »

habe eine HP2551C und möchte diese Daten in mein WsWin importieren.
Folgende Schritte gemacht:
1. Daten von SD Karte in Ordner WSwin/Import
2. Programm EWCSVmerge.bat gestartet
3. im Ordner WSwin/Export sind viele Dateien (z.B. default.csv)

Jetzt wollte ich die Dateien in WSwin importieren. Nehme ich nun default.csv erhalte ich Fehlermeldung "ungültiger Dateinahme!" Muster: EXPmm_jj.CSV.

Was mache ich falsch?
Antworten