neue CMX Option: selbst konfigurierbarer Daten-Export (CSV)von CumulusMX monatlich oder täglich

[Gyvate]

Hallo für Interessenten
für CMX wird eine Datenexport-Funktion innerhalb von CumulusMX entwickelt, die einen selbstdefinierten Datenexport (Inhalt, Reihenfolge, Intervall) für ganze Monate oder für Tage (wird kontinuierlich angehängt/fortgeschrieben) ermöglicht.

Das ist bestimmt u.a. für (Mit-) Benutzer von Wswin interessant, die bisher Dateien für den Import nach Wswin zusammenfügen mussten.

Das Feature befindet sich zur Zeit im Beta-Test.

Realisiert wird das in einem Dialogfenster, wo man die entsprechenden CMX-Webtags, die die Daten, die man haben will, repräsentieren, in der gewünschten Reihenfolge eintragen kann.
Ergebnis ist eine CSV Datei mit dem selbstgewählten Namen MeinName-yyyyMM.txt (Monatsdatei, jeden Monat neu) bzw. eine Tagesdatei MeinName.txt, die kontinuierlich fortgeschrieben wird.

In der Überschrift fehlt noch ein "t" - aber das wird garantiert noch verbessert

[Gyvate]

Hier ein Beispiel:

CMX-custom-log-files2.JPG (68.37 KiB) 4244 mal betrachtet

Der Dezimal-Trenner ist hier ein Komma "," - der CSV Trenner ist ein Semikolon/Strichpunkt ";" also 16,5;
entsprechend der deutschen locale-Einstellung
bei UK oder US wären es dann "." und "," also 16.5,
Es müssen die gleichen Zeichen gewählt werden, die auch für das Schreiben der normalen CMX Log-Dateien Verwendung finden.
(locale-abhängig)

Ergebnis: Datei CSV-test-202210.txt
01.10.22;17:01;13,3;96;12,7;1011,5;19,0;53;1,89;8,64;NW;38;0,00;79,0;14,4;1012;7,0;37,0;64;63;71;57
01.10.22;17:02;13,3;96;12,7;1011,5;19,0;53;2,21;8,64;NNW;32;0,00;80,0;14,4;1056;7,0;37,0;64;64;71;57
01.10.22;17:03;13,3;96;12,7;1011,5;19,0;53;2,55;8,64;NNW;27;0,00;80,0;14,4;1109;7,0;37,0;64;63;73;56
01.10.22;17:04;13,3;96;12,7;1011,5;19,0;54;2,57;8,64;NW;24;0,00;83,0;14,5;1052;7,0;37,0;65;63;73;56
01.10.22;17:05;13,3;96;12,7;1011,7;19,0;53;2,89;8,64;NW;34;0,00;83,0;14,5;1044;7,0;13,0;64;64;70;56
01.10.22;17:06;13,2;96;12,6;1011,6;19,0;53;3,04;8,64;NW;28;0,00;88,0;14,5;1053;7,0;13,0;65;63;73;56
01.10.22;17:08;13,2;96;12,6;1011,7;19,0;53;3,43;10,08;NNW;15;0,00;88,0;14,5;1045;7,0;13,0;64;63;71;57
01.10.22;17:09;13,2;96;12,6;1011,6;19,0;54;3,54;10,08;NNW;28;0,00;91,0;14,6;1099;7,0;13,0;65;64;71;57

[Gyvate]

mit dieser Option dürfte sich die Zusammenführung von Log und Extra-Log (z.B. für den Import nach Wswin) mit den dazugehörigen gelegentlich auftretenden Problemen (z.B. doppelte oder fehlende Datensätze in einer der beiden Log-Dateien) erledigt haben, da man jetzt eine eigene, parallele Log-Datei anlegen kann, bei der man Inhalt und Reihenfolge selbst definieren kann.

[LSchenk]

Hallo Gyvate,

das klingt ja soweit super. Allerdings stellt sich mir die Frage, ob man damit auch Live-Betrieb machen kann, die Daten also auch im Log-Intervall geschrieben werden können und man diese Datei dann überwachen kann.

Wenn ja, wäre dann noch die Frage nach dem Dateiname, der sich ja für einen Live-Betrieb per Dateiüberwachung, nicht ändern sollte.

Es müsste aus meiner Sicht dann so gestaltet sein, dass es eine laufende Datei mit immer gleichem Name gibt, welche dann zu festgelegten Zeitpunkten, z.B. Tages-, Wochen-, oder Monats-Wechsel, dann in Dateien mit definerten Namen geschrieben werden. Die laufende Datei müsste dann natürlich mindestens so groß sein, dass der Zeitraum der Wechsel abgedeckt ist.

Gibt es da nähere Infos?

VG Lutz

[Gyvate]

Hallo Gyvate,

das klingt ja soweit super. Allerdings stellt sich mir die Frage, ob man damit auch Live-Betrieb machen kann, die Daten also auch im Log-Intervall geschrieben werden können und man diese Datei dann überwachen kann.

Verstehe ich jetzt nicht ganz. Die individuelle Log-Datei (Datenexport) wird von CMX gemäß gewähltem Intervall in Echtzeit
geschrieben, also in jedem Interval ein Datensatz, wie die vorgenannten Beispiele zeigen.
Der einzige Unterschied ist, dass die "Tagesdatei" einen komplett frei wählbaren Namen besitzt und endlos weitergeschrieben wird (bis man die Definition deaktiviert), wohingegen die Monatsdatei jeden Monat neu mit einem anderen (Teil-)Namen angelegt wird.

Wenn ja, wäre dann noch die Frage nach dem Dateiname, der sich ja für einen Live-Betrieb per Dateiüberwachung, nicht ändern sollte.

Ist ja eine der Möglichkeiten. Ein intelligentes Skript sollte allerdings auch mit den sich ändernden Namen der Monatsdateien zurechtkommen.

Es müsste aus meiner Sicht dann so gestaltet sein, dass es eine laufende Datei mit immer gleichem Name gibt, welche dann zu festgelegten Zeitpunkten, z.B. Tages-, Wochen-, oder Monats-Wechsel, dann in Dateien mit definerten Namen geschrieben werden. Die laufende Datei müsste dann natürlich mindestens so groß sein, dass der Zeitraum der Wechsel abgedeckt ist.
Gibt es da nähere Infos?
VG Lutz

welche Lösung Du wählst, hängt von Deiner Weiterverabeitung ab. In einer Monatsdatei wirst Du allerdings keinen Datensatz des neuen Monats finden, was Du zu wollen scheinst ("Zeitraum der Wechsel abgedeckt"). Warum eigentlich ?

[LSchenk]

Hallo Gyvate, ich glaube da hast du mich missverstanden und ich vermutlich ebenso die neue Funktionalität.
Ich denke, ich probiere es einfach mal aus, dann kann ich auch besser verstehen, was da dann passiert und wie es umgesetzt ist.

Ist diese Funktion denn schon in einer der offiziellen Versionen implementiert?

VG Lutz

Nachtrag: unter https://github.com/cumulusmx/CumulusMX/releases/ ist zu lesen:

Build 3211 - Version 3.22.0

New

Adds the ability to create custom data log files, both interval and daily

Ist das die hier beschriebene Sache?

[LSchenk]

So, ich bin jetzt ein Stück weiter. Über Github habe ich mir die aktuelle CMX V3.23.1 geladen und sie läuft.
Über das Setup ist auch die Custom-Log Konfigurationsseite zu sehen.

Dazu hatte ich mir Gyvate's ersten Beitrag hierzu noch mal angesehen und da schwante mir, dass ich es doch richtig verstanden habe:

Ergebnis ist eine CSV Datei mit dem selbstgewählten Namen MeinName-yyyyMM.txt (Monatsdatei, jeden Monat neu) bzw. eine Tagesdatei MeinName.txt, die kontinuierlich fortgeschrieben wird.

Das Problem hierbei ist für WsWin, dass sich bei kontinuierlicher X-CSV-Überwachung der Dateiname nicht ändern darf, was aber demnach zu jedem Monatswechsel passieren würde.

Eine Lösung hierzu wäre, dass die aktuelle Monatsdatei immer einen gleichen Name bräuchte, z.B. CustomLog-act_month.txt", oder auch einen selbstgewählten Name, die Datei aber dann zum Monatswechsel als separate z.B. "CustomLog-yyyyMM.txt" wegeschrieben werden müsste.

Was mir aber noch unklar ist, was die Costom Daily Logs da genau macht, es heißt an der Stelle"

...Tagesdatei MeinName.txt, die kontinuierlich fortgeschrieben wird.

Was bedeutet das? Wird sie täglich einmalig mit Daten gefüllt, oder zu jedem Loginterval?
Wenn ja, dann könnte das die Lösung sein.

Na, schaun wir mal.

VG Lutz

[Gyvate]

sie wird ab dem Tag, an dem sie aktiviert wird, im gewählten Intervall fortgeschrieben.
Bsp. Interval = 1 Minute => jede Minute wird ein Datensatz hinzugefügt.
Es wird nicht gewartet und am Ende de Tages was hinzugefügt. Alles geschieht in Echtzeit - muss so sein bei diesem Ansatz.
Es gibt keinen Stop am Ende des Tages, wenn die Logdatei aktiv bleibt (d.h. wenn der Benutzer sie nicht deaktiviert). Sie wird dann einfach weiter fortgeschrieben.
Die Monatsdatei endet am Ende des Monats, wenn die Datei des neuen Monats erstellt wird.
Einfach mal ausprobieren und das Beispiel aus dem WiKi einrichten, ein paar Tage laufen lassen und sehen, was passiert.

[LSchenk]

Na, das klingt doch gut, wenn die Tagesdatei alles direkt loggt.
Allerdings läuft diese bei mir nicht. Die Monatsdatei klappt prima.
Tagesdatei Ist enabled und "save settings" werden korrekt bestätigt, aber es tut sich nichts.

Es sind exakt die gleichen Webtags wie in der Monatsdatei und auch mit dem Beispielname "MyLog" aus CMX läuft es nicht.

Hmmmm....

CMX_Cust_Log_Set.JPG (58.53 KiB) 4008 mal betrachtet

[LSchenk]

Jetzt mit Beginn des neuen Tages wurde die Datei um 0:00 Uhr einmalig, mit merkwürdigem Timestamp ohne Uhrzeit geschrieben:

10.01.23;4,1;90;8,4;24;164;2,0;1015,7;19,4;50;0,0;0;0,8;4,2;4,1;4,2;37,0;91;87;0;0

Seit dem nichts weiter, irgendwas scheint da nicht zu passen...