CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

Für allgemeine Software
wetterHD
Offline
Beiträge: 93
Registriert: 23 Dez 2021, 08:19
Wohnort: Heidelberg
Hat sich bedankt: 15 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#41

Beitrag von wetterHD »

Moin,

hat jetzt auch bei mir geklappt :thumbup:
Leider fehlen ja zwei Wochen Daten und das Zusammenführen dauert länger als 10 Minuten.
Es wird für jede Minute die in der Tabelle fehlt eine Fehlermeldung ausgegeben.
So ist das nicht praktikabel für mich.
Ich weiß auch noch nicht ob CMX bei mir jeden Monat eine neue Datei macht, falls nicht wird die ja immer länger und größer.
Ich lasse mich mal überraschen und berichte...

Danke und Gruß
Christian
dnt WeatherScreen Pro (=Froggit HP1000se Pro black-edition =Ecowitt HP2551C) bis 31.12.2021 TFA Nexus mit WSWin
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#42

Beitrag von Gyvate »

CumulusMX legt immer für jeden Monat eine neue Datei mit dem Namen MMMYYlog.txt bzw. ExtraLogYYYYMM.txt an.
MMM = Jan, Feb, Mar etc. (oder Jän, Feb, Mär ... bei Deutscher Locale - Jän irgendwie vom Österreichischen abgeleitet :shock: )
YY = 21, 22, 23 ...
YYYY= 2021, 2022, ...
MM = 01, 02, 03 ....
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
wetterHD
Offline
Beiträge: 93
Registriert: 23 Dez 2021, 08:19
Wohnort: Heidelberg
Hat sich bedankt: 15 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#43

Beitrag von wetterHD »

Ah, ok.
Im data Verzeichnis...
Die extra web file fängt dann praktisch jeden Monat neu an?
Dann sollte es ja mit der Zusammenführung ab 01.02. klappen, bin gespannt.

Danke und Gruß
Christian
dnt WeatherScreen Pro (=Froggit HP1000se Pro black-edition =Ecowitt HP2551C) bis 31.12.2021 TFA Nexus mit WSWin
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#44

Beitrag von LSchenk »

Hallo Christian,

zum Monatsanfang hatte ich zuerst auch befürchtet, dass ich in CMX dann immer die CMX-Outputdateien neu benennen, oder den Aufruf von cmxmerge immer anpassen müsste. Das lässt sich aber elegant umgehen, in dem man in der Batchanweisung für cmxmerge folgendes einträgt:
cmx-extra-web-files.JPG
cmx-extra-web-files.JPG (35.79 KiB) 1338 mal betrachtet
Damit wird immer auf die aktellen CMX-Log-Dateien zugegriffen. Mit den gezeigten Einträgen lasse ich diese von CMX alle 5 Minuten in einen separaten Eingangsordner (In) kopieren aus dem heraus cmxmerge die Daten verarbeiten kann.

Hierzu wird in CMX entsprechend cmxmerge als Batchprogramm aufgerufen:
cmx-ext-prg.JPG
cmx-ext-prg.JPG (42.33 KiB) 1338 mal betrachtet
und fertig liegt die von WsWin überwachte Gesamtatei (LogAll.csv) im Ordner "Out" und WsWin holt sich die Daten dann dort ab, sofern der X-CSV Import korrekt konfiguriert ist.
Das kann man gewiss auch ohne 2 verschiedene Ordner wie bei mir (In/Out) machen, aber als ich anfing damit herumzuprobieren war es für mich erst mal so übersichtlicher. Nun, so es dann halt geblieben ;-)
Wie gesagt, schau dir gerne mal dazu meinen Beitrag im WsWin-Forum an, da ist eigentlich alles von A-Z erklärt.

Gruß Lutz

PS: Hatte sich das jetzt bei dir auch mit der Konvertierungsdauer von 10 Minuten erledigt?
Bei braucht cmxmerge am Anfang des Monats nur eine kurzen Augenblick, gegen Monatende so um die 3-4 Sekunden.
Zuletzt geändert von LSchenk am 22 Jan 2022, 23:23, insgesamt 3-mal geändert.
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 412 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#45

Beitrag von olicat »

Hi!

Es gab da noch irgendwo eine kleine Gemeinheit in der zeitlichen Abfolge, daher wurde in v0.4 der Parameter -delay n fuer eine Pause von n Sekunden vor dem Merging eingefuehrt. Sollte es also in der zeitlichen Folge - etwa Datei ist noch nicht da obwohl CMXmerge bereits gestartet ist - irgendwelche Probleme geben, koennte dieser Parameter evtl. helfen.

Oliver
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#46

Beitrag von LSchenk »

Danke Oliver, hatte ich ganz vergessen.

Der Aufruf in CMX sieht dann so aus:
CMXMerge_param_mit_delay.JPG
CMXMerge_param_mit_delay.JPG (18.45 KiB) 1330 mal betrachtet
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#47

Beitrag von LSchenk »

Hallo Oliver, es ist ja jetzt eine Weile her, das Tool arbeitet nach wie vor perfekt!

Eine Sache macht mir aber länger schon Bauchschmerzen:
Zum Monatbeginn wird die Datei ja quasi geleert und mit den neuen Daten dann nach und nach wieder gefüllt.

Hier kam es vor, dass WsWin z.B. gerade am letzten Tag des Monats sich aufgehangen hatte und ich hatte es erst nach Mitternacht bemerkt. Na Super, neue Monatsdatei quasi leer und WsWin konnte natürlich die fehlenden Vortagesdaten dort nicht mehr finden.

Daher meine Frage ob es ohne größeren Aufwand möglich wäre, eine tägliche Sicherung der Output-Datendatei einzuführen?

Muss ja nicht die gesamte Monatsdatei sein, einfach nur immer die letzten 24h. Wenn ich dann sehe dass alles lief, kann ich die Tagesdateien ja entsorgen, oder auch separat sichern.

VG Lutz
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 412 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#48

Beitrag von olicat »

Hi!

Ist denn CMXmerge etwa noch immer erforderlich?!
:-o
Es waere doch soviel einfacher, wenn CMX das kombinierte File gleich selbst erzeugen wuerde? Ich dachte, das waere laengst erledigt ...

Ich selbst arbeite mit CMXmerge nicht und musste mir jetzt erstmal den Source nochmal ansehen.
Aber ich kenne den Arbeitsablauf nicht so genau und kann im Moment nicht erahnen, wann ich wie ein Backup machen sollte.
Natuerlich ist es kein Problem, vor dem Erzeugen einer neuen Ausgabedatei die ggf. bestehende als Sicherheitskopie (etwa *.bak) abzulegen.
Diese Datei wuerde dann jedoch bei jedem neuen Start von CMXmerge ueberschrieben.
Wuerde Dir das in Deinem Arbeitsablauf helfen?

Oliver
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#49

Beitrag von LSchenk »

Hi Oliver, nein. eine .Bak würde dann ja auch jedes Intervall neu überschrieben und somit die alten/fehlenden Daten auch nicht mehr da.

Was helfen könnte wäre eine .bak exakt nach Abschluss des Mergens der letzten Datensätze eines Monats um 23:59 zu erstellen. Aber warten wir mal ab, ob das jetzt bei CMX lt. dem unten verlinkten Weg dann geht.

Ich hatte hier heute einen Beitrag von Gyvate zu dem Thema bei CMX gelesen, dass da was in Arbeit wäre:
viewtopic.php?t=1294
Weiß aber den aktuellen Stand noch nicht.
VG Lutz
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#50

Beitrag von LSchenk »

Hallo Oliver, das gute, stets zuverlässige cmxmerge hat ausgedient, die aktuelleren CMX Builds haben die CustomLogs seit ~ September drin. Ich hatte davon aber nichts mitbekommen, da ich zuletzt da nicht ganz so aktiv war.

Ich habe es jetzt umgesetzt und in einem anderen Faden zu dem Thema hier beschrieben: viewtopic.php?p=14953#p14953

Also nochmals vielen Dank Oliver, für das tolle Tool, welches über ein Jahr absolut fehlerfrei seinen Dienst verrichtet hat.

VG Lutz
Antworten