CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

Für allgemeine Software
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#21

Beitrag von Gyvate »

olicat hat geschrieben: 26 Okt 2021, 23:51
Ich kann ja mal Mark diesen Sachverhalt schildern - vielleicht lässt sich das ja innerhalb von CMX "abfangen" (so es denn wirklich an CMX liegt).
Das waere wirklich nett! Danke!

Oliver
Mail verschickt. 8-)

Ich weiss ja nicht, wie Du das Verknüpfungsprogramm genau programmiert hast, aber wenn Du immer zum Standard-Zeitstempel einen Extra-Zeitstempel suchst (und Dich nicht darauf verlässt, dass beide Dateien bei sequentiellem Lesen immer denselben Zeitstempel haben), dann kann es ja nur entweder Extra-Daten geben oder nicht. Dann fallen höchstens Extra-Datensätze unter den Tisch.

Ganz elegant aber auch wesentlich aufwändiger wäre es, nach dem ersten Durchlauf einen zweiten Lauf zu starten, und dann diejenigen Extra-Datensätze in eine Datei/Protokoll-Datei zu schreiben, zu denen es keinen Standard-Datensatz gibt. Das würde die Nachpflege erleichtern.
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#22

Beitrag von Gyvate »

Also, auf der CMX Seite ist lt. Mark alles richtig programmiert.
Ich habe mal meine drei CMX Installationen untersucht, und habe nur bei der Windows Installation im Oktober zwei "Aussetzer" gefunden, jedesmal deshalb, weil die Logdatei von einem anderen Prozess benutzt wurde ... :roll: - welcher Prozess .... ???? - Antivirus-Programm vielleicht ... Müsste mal eine Ausnahme für die Logfiles definieren.

Die RPi Installation sind konsistent. Haben aber auch kein Anti-Virus Programm.

@Lutz sollte mal, falls nicht bereits geschehen, das CMX Debug-Logging aktivieren (Settings - Program Settings - Logging Options). Die Logging Datei wird nach ...\CumulusMX\MXDiags geschrieben. Und dann fehlende Matches zwischen Standard und Extra Log Datensatz im DebugLog überprüfen.
(beide Datei z.B.Okt21log.txt und ExtraLog202110.txt kopieren und in .csv umbenennen.
Zuerst beide jeweils in den Editor/Notepad laden und Anzahl der Zeilen überprüfen - falls ungleich (und auch keine Leerzeilen vorhanden), beide in MS Excel laden, View side-by-side, synchronyous scrolling wählen und dann blättern und die jeweils letzte Zeile vergleichen - Datum und Uhrzeit müssen gleich sein - wenn nicht, dann gab es zuvor einen fehlenden Datensatz. Diese(n) Zeitstempel mit dem DebugLog vergleichen und nachsehen, ob da etwas dokumentiert ist. Die Einträge im DebugLog sehen folgendermassen aus:
2021-10-02 16:58:00.249 DoLogFile: Writing log entry for 02.10.2021 16:58:00
2021-10-02 16:58:00.249 DoLogFile: max gust: 7,2
2021-10-02 16:58:00.251 DoLogFile: log entry for 02.10.2021 16:58:00 written
....
2021-10-02 16:58:00.255 DoExtraLogFile: Writing log entry for 02.10.2021 16:58:00
2021-10-02 16:58:00.256 DoExtraLogFile: Log entry for 02.10.2021 16:58:00 written
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 411 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#23

Beitrag von olicat »

Hi!
???? - Antivirus-Programm vielleicht ...
Das erklaert aber nicht, wie in dem letzten Beispiel zwei Zeilen mit 10:30 eingetragen wurden, obwohl bei der ersten ganz sicher 10:25 gemeint war.
Aber vielleicht waere es grundsaetzlich auch sinnvoller, Mark gleich (optional) ein gemeinsames - kombiniertes - CSV schreiben zu lassen.
Dann koennte man sich das Herumdoktern im Nachhinein komplett ersparen.
CMX Debug-Logging aktivieren
Man kann die Ausgaben von CMXmerge (ab v0.4b - noch nicht veroeffentlicht) auch in eine andere Datei umleiten:

Code: Alles auswählen

cmxmerge standard.csv extra.csv gesamt.csv -delay 30 >>cmxmerge.txt
Dann haette man die Fehlerausschriften zumindest in einer Datei (hier cmxmerge.txt) dokumentiert.

Oliver
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#24

Beitrag von Gyvate »

olicat hat geschrieben: 27 Okt 2021, 14:23 Hi!
???? - Antivirus-Programm vielleicht ...
Das erklaert aber nicht, wie in dem letzten Beispiel zwei Zeilen mit 10:30 eingetragen wurden, obwohl bei der ersten ganz sicher 10:25 gemeint war.
Aber vielleicht waere es grundsaetzlich auch sinnvoller, Mark gleich (optional) ein gemeinsames - kombiniertes - CSV schreiben zu lassen.
Dann koennte man sich das Herumdoktern im Nachhinein komplett ersparen.
CMX Debug-Logging aktivieren
Man kann die Ausgaben von CMXmerge (ab v0.4b - noch nicht veroeffentlicht) auch in eine andere Datei umleiten:

Code: Alles auswählen

cmxmerge standard.csv extra.csv gesamt.csv -delay 30 >>cmxmerge.txt
Dann haette man die Fehlerausschriften zumindest in einer Datei (hier cmxmerge.txt) dokumentiert.

Oliver
Deshalb das Debug-Logging aktivieren, um das Schreiben eines doppelten Zeitstempels zu dokumentieren, wenn es wieder vorkommt. Dann kommt man vielleicht den Hintergründen besser auf die Spur.

Bei mir kommen keine doppelten Zeiten vor, nur zwei fehlende Extra-Sätze, jeweils mit Datei von anderem Prozess im Zugriff.

Was das Schreiben einer kombinierten Logdatei (Daten ! - nicht Debug) durch CMX angeht, werde ich Mark nochmal fragen, ob er das nicht als WSWin-Schnittstelle einrichten kann. Ggf. als auswählbare Option. z.B. Dateiname mmmyy-WSWin-Log.txt oder csv.

Habe den Vorschlag weitergeleitet.

Was die Sperrung der Datei anbetrifft:
Mark und ich haben hier beide, zumindest in meinem Fall, das Antivirus-Programm in Verdacht.

@Lutz könnte das ja auch mal prüfen bzw. das ...\CumulusMX\data Verzeichnis vom AV-Programm oder Windows-Defender ausnehmen.
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#25

Beitrag von LSchenk »

Hallo Gyvate,

verstehe den Sinn mit Defender und AV-Programm nicht. Wenn diese doch meckern oder blockieren würden, dann kämen doch nie Daten durch?!?

Seit gestern läuft es übrigens problemlos durch. Vielleicht hing es ja wirklich mit dem minütlichen Realtime-Intervall zusammen, so dass sich da vielleicht etwas gebissen hat mit der zeitlichen Abarbeitung.

Gruß Lutz
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#26

Beitrag von Gyvate »

LSchenk hat geschrieben: 27 Okt 2021, 17:14 Hallo Gyvate,

verstehe den Sinn mit Defender und AV-Programm nicht. Wenn diese doch meckern oder blockieren würden, dann kämen doch nie Daten durch?!?
......
Gruß Lutz
Die AV-Programme lesen die Dateien, um sie zu überprüfen. Dabei sind sind sie für andere Programme gesperrt.
Erst am Ende des Lesevorgangs wird entschieden, ob die Datei "angemeckert" wird. Daher kann sehr wohl ein AV-Programm kurzzeitige Sperren verursachen, ohne dass eine Infektion fetgestellt wird. Ein Ausschluß sorgt dafür, dass sie nicht mehr gelesen und überprüft werden. Das Zeitfernster dafür ist sehr kurz, so daß in den meisten Fällen alles wie gewohnt läuft. Aber halt nicht immer.
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#27

Beitrag von LSchenk »

So, habe mal beim AV-Programm den Ordner Cumulus\data rausgenommen. Beim Defender müste ich erst mal schauen wie das geht.

Aber nun doch wieder Probleme, die aber wohl nix mit der AV Einstellung zu tun haben.
Seit 19:10 schreibt cmxmerge die Extradaten nicht in das Output-File, obwohl alle Daten mit sauberem Zeitstempel vorhanden sind (habe jetzt auch mal ein Delay von 30s eingestellt):
Fehler_27.10.21.JPG
Fehler_27.10.21.JPG (126.38 KiB) 1154 mal betrachtet
Extralog:
Fehler_27.10.21_2.JPG
Fehler_27.10.21_2.JPG (156.36 KiB) 1154 mal betrachtet
Irgendwie seltsam das....

Ich sehe im cmxmerge Fenster beim Ende der Bearbeitung auch nocht einige Zeilen unten auftauchen, kann sie aber leider nicht lesen, da es dann sofort schließt.
Benutzeravatar
olicat
Offline
Beiträge: 2003
Registriert: 07 Dez 2020, 20:33
Wohnort: Hohen Neuendorf
Hat sich bedankt: 26 mal
Danksagung erhalten: 411 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#28

Beitrag von olicat »

Hi!

19:05 fehlt im Standard-Log.
Du kannst mir aber gern auch diese Daten schicken.

Oliver
LSchenk
Offline
Beiträge: 138
Registriert: 02 Okt 2021, 18:06
Hat sich bedankt: 9 mal
Danksagung erhalten: 4 mal

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#29

Beitrag von LSchenk »

Oh Mann, Danke Oliver, habe es einfach nicht gesehen...
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

#30

Beitrag von Gyvate »

Nachrichten von Mark (Mark ist der Programmierer von CumulusMX):
Er denkt darüber nach, zusätzlich pro Log-Intervall einen kombinierten Datensatz zu erzeugen, der dann z.B. per CMX Copy-Funktion ins WSWin Verzeichnis übertragen werden müsste/könnte. Also keine ganze Datei, die gibt es getrennt sowieso weiterhin, sondern einen Datensatz, der immer wieder pro Log-Intervall überschrieben wird.
Das wäre doch eine elegante Lösung, oder ?
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
Antworten