CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

[wetterHD]

Moin,

hat jetzt auch bei mir geklappt
Leider fehlen ja zwei Wochen Daten und das Zusammenführen dauert länger als 10 Minuten.
Es wird für jede Minute die in der Tabelle fehlt eine Fehlermeldung ausgegeben.
So ist das nicht praktikabel für mich.
Ich weiß auch noch nicht ob CMX bei mir jeden Monat eine neue Datei macht, falls nicht wird die ja immer länger und größer.
Ich lasse mich mal überraschen und berichte...

Danke und Gruß
Christian

[Gyvate]

CumulusMX legt immer für jeden Monat eine neue Datei mit dem Namen MMMYYlog.txt bzw. ExtraLogYYYYMM.txt an.
MMM = Jan, Feb, Mar etc. (oder Jän, Feb, Mär ... bei Deutscher Locale - Jän irgendwie vom Österreichischen abgeleitet )
YY = 21, 22, 23 ...
YYYY= 2021, 2022, ...
MM = 01, 02, 03 ....

[wetterHD]

Ah, ok.
Im data Verzeichnis...
Die extra web file fängt dann praktisch jeden Monat neu an?
Dann sollte es ja mit der Zusammenführung ab 01.02. klappen, bin gespannt.

Danke und Gruß
Christian

[LSchenk]

Hallo Christian,

zum Monatsanfang hatte ich zuerst auch befürchtet, dass ich in CMX dann immer die CMX-Outputdateien neu benennen, oder den Aufruf von cmxmerge immer anpassen müsste. Das lässt sich aber elegant umgehen, in dem man in der Batchanweisung für cmxmerge folgendes einträgt:

cmx-extra-web-files.JPG (35.79 KiB) 3645 mal betrachtet

Damit wird immer auf die aktellen CMX-Log-Dateien zugegriffen. Mit den gezeigten Einträgen lasse ich diese von CMX alle 5 Minuten in einen separaten Eingangsordner (In) kopieren aus dem heraus cmxmerge die Daten verarbeiten kann.

Hierzu wird in CMX entsprechend cmxmerge als Batchprogramm aufgerufen:

cmx-ext-prg.JPG (42.33 KiB) 3645 mal betrachtet

und fertig liegt die von WsWin überwachte Gesamtatei (LogAll.csv) im Ordner "Out" und WsWin holt sich die Daten dann dort ab, sofern der X-CSV Import korrekt konfiguriert ist.
Das kann man gewiss auch ohne 2 verschiedene Ordner wie bei mir (In/Out) machen, aber als ich anfing damit herumzuprobieren war es für mich erst mal so übersichtlicher. Nun, so es dann halt geblieben
Wie gesagt, schau dir gerne mal dazu meinen Beitrag im WsWin-Forum an, da ist eigentlich alles von A-Z erklärt.

Gruß Lutz

PS: Hatte sich das jetzt bei dir auch mit der Konvertierungsdauer von 10 Minuten erledigt?
Bei braucht cmxmerge am Anfang des Monats nur eine kurzen Augenblick, gegen Monatende so um die 3-4 Sekunden.

[olicat]

Hi!

Es gab da noch irgendwo eine kleine Gemeinheit in der zeitlichen Abfolge, daher wurde in v0.4 der Parameter -delay n fuer eine Pause von n Sekunden vor dem Merging eingefuehrt. Sollte es also in der zeitlichen Folge - etwa Datei ist noch nicht da obwohl CMXmerge bereits gestartet ist - irgendwelche Probleme geben, koennte dieser Parameter evtl. helfen.

Oliver

[LSchenk]

Danke Oliver, hatte ich ganz vergessen.

Der Aufruf in CMX sieht dann so aus:

CMXMerge_param_mit_delay.JPG (18.45 KiB) 3637 mal betrachtet

[LSchenk]

Hallo Oliver, es ist ja jetzt eine Weile her, das Tool arbeitet nach wie vor perfekt!

Eine Sache macht mir aber länger schon Bauchschmerzen:
Zum Monatbeginn wird die Datei ja quasi geleert und mit den neuen Daten dann nach und nach wieder gefüllt.

Hier kam es vor, dass WsWin z.B. gerade am letzten Tag des Monats sich aufgehangen hatte und ich hatte es erst nach Mitternacht bemerkt. Na Super, neue Monatsdatei quasi leer und WsWin konnte natürlich die fehlenden Vortagesdaten dort nicht mehr finden.

Daher meine Frage ob es ohne größeren Aufwand möglich wäre, eine tägliche Sicherung der Output-Datendatei einzuführen?

Muss ja nicht die gesamte Monatsdatei sein, einfach nur immer die letzten 24h. Wenn ich dann sehe dass alles lief, kann ich die Tagesdateien ja entsorgen, oder auch separat sichern.

VG Lutz

[olicat]

Hi!

Ist denn CMXmerge etwa noch immer erforderlich?!

Es waere doch soviel einfacher, wenn CMX das kombinierte File gleich selbst erzeugen wuerde? Ich dachte, das waere laengst erledigt ...

Ich selbst arbeite mit CMXmerge nicht und musste mir jetzt erstmal den Source nochmal ansehen.
Aber ich kenne den Arbeitsablauf nicht so genau und kann im Moment nicht erahnen, wann ich wie ein Backup machen sollte.
Natuerlich ist es kein Problem, vor dem Erzeugen einer neuen Ausgabedatei die ggf. bestehende als Sicherheitskopie (etwa *.bak) abzulegen.
Diese Datei wuerde dann jedoch bei jedem neuen Start von CMXmerge ueberschrieben.
Wuerde Dir das in Deinem Arbeitsablauf helfen?

Oliver

[LSchenk]

Hi Oliver, nein. eine .Bak würde dann ja auch jedes Intervall neu überschrieben und somit die alten/fehlenden Daten auch nicht mehr da.

Was helfen könnte wäre eine .bak exakt nach Abschluss des Mergens der letzten Datensätze eines Monats um 23:59 zu erstellen. Aber warten wir mal ab, ob das jetzt bei CMX lt. dem unten verlinkten Weg dann geht.

Ich hatte hier heute einen Beitrag von Gyvate zu dem Thema bei CMX gelesen, dass da was in Arbeit wäre:
viewtopic.php?t=1294
Weiß aber den aktuellen Stand noch nicht.
VG Lutz

[LSchenk]

Hallo Oliver, das gute, stets zuverlässige cmxmerge hat ausgedient, die aktuelleren CMX Builds haben die CustomLogs seit ~ September drin. Ich hatte davon aber nichts mitbekommen, da ich zuletzt da nicht ganz so aktiv war.

Ich habe es jetzt umgesetzt und in einem anderen Faden zu dem Thema hier beschrieben: viewtopic.php?p=14953#p14953

Also nochmals vielen Dank Oliver, für das tolle Tool, welches über ein Jahr absolut fehlerfrei seinen Dienst verrichtet hat.

VG Lutz