CMXmerge - Zusammenführen der CSV-Dateien von Cumulus MX (CMX) für WSWin und Excel etc.

[LSchenk]

Hallo Gyvate,

das klingt in der Tat interessant. Und falls da mal was nicht klappt hätte man ja noch die Einzeldateien.
Hoffe nur, das da nicht auch so oft einzelne Sätze fehlen.

LG, Lutz

PS: Wenn dies im Sinne von/für WsWin-User gedacht ist, sollte die Datei auch direkt auf .csv enden, da WsWin partout nur csv annimmt. Anderenfalls hätte man wieder einen zu automatisierenden Umbenennungs-Schritt.
Oder hier könnte man dann mal Werner ansprechen, ob WsWin umzustimmen ist, auch andere Endungen zu akzeptieren.

Alternativ könnte man ja in CMX auch Auswahloptionen für den Suffix schaffen, so dass es auch für Andere direkt brauchbar ist. Etwa: .dat / .csv / .txt

Oder aber man hätte die Möglichkeit, die Datei einfach frei zu benennen, dann kann es jeder händeln wie er es braucht.

Als eine weitere Option könnte ich mir vorstellen, das man einen Zähler hinzuschalten kann. So wird die Datei zwar immer nur einen Datensatz enthalten, der User könnte sich aber auch eine Reihe von Datensätzen ablegen.
Beispiel: im Ersten Interval heist die Datei alldata_0000.csv, beim nächsten, alldata_0001.csv (oder anders gewählte Endung)

Ohne Zähleroption dann z.B. alldata.csv/dat/txt

Dies sollen aber alles keine Wünsche sein, allenfalls Ideen. Einzig wichtig ist, dass das Datenformat so bleibt, wie jetzt auch, halt nur ohne erneute Datum/Zeit-Felder vor den Extra-Daten und die Endung wenn möglich .csv ist.

[Gyvate]

Man könnte einfach zusätzlich parallel ein Skript mitlaufen lassen, das den Datensatz mit der Append-Funktion an eine weitere Datei anhängt, so dass man sich quasi eine Tages-, Monats- oder Jahresdatei aufbauen kann.

Code: Alles auswählen

copy Datei-1 Datei2+Datei-1

So wird der Datensatz an Datei-2 angehängt und wächst weiter an. Über Variablen kann man dann z.B. jeden Tag oder jeden Monat eine neue Datei anlegen.
3,4 Zeilen ...
Dann hätte man auch gleich eine Datei zum Nachspielen, wenn sich WSWin mal verschluckt oder sonstwie indisponiert ist.

Das geht natürlich auch immer noch händisch, in dem man die Standard-Sensor-Monatsdatei in .csv umkopiert, in Excel lädt, die Extra-Sensor Datei in ein weiteres Excel-Arbeitsblatt lädt, dann alle Extra-Sensor-Daten ausser dem Zeitstempel markiert, kopiert, und hinter der letzten Spalte der Standard-Sensor-Datei in Excel kopiert.
Danach wieder als csv abspeichern.

Man kann auch die Extra-Sensoren mit Zeitstempel kopieren - dann lassen sich Dubletten bzw. fehlende Standard/Extra Datensätze einfacher herausfinden. Die Extra-Sensor-Zeitstempel-Spalten kann man ja nach Korrektur löschen oder sie vor dem Abspeichern ausblenden.

[LSchenk]

Hallöle,

das mit dem xcopy sieht auch recht interessant aus.

Aber alle anderen Optionen mit Dateien händisch zusammenfrickeln, da wollte ich eigentlich von weg, bzw. nicht wieder hin.

Also schaun 'mer mal, wann das mit dem Datensatz in CMX kommt und dann erst mal gerne testen.

Lutz

Btw: Nach den Änderungen gestern (Realtime-Interval von 60 auf 300s und ausschließen des Ordners CMX\data im AV-Programm lief es es störungsfrei bis jetzt. Nur WsWin hatte heute mal einen Hänger, es aktualisierte einfach nicht, obwohl die Daten vollständig geschrieben wurden. -> WsWin-Neustart -> läuft wieder.

[LSchenk]

Hallöle,

wollte noch Rückmeldung geben zum Monatswechsel:
Es lief völlig problemlos, ab 01.11. 0:00 Uhr wurde automatisch die Daten wie zuvor in die LogAll.csv geschrieben, allerdings sind nun nur Novemberwerte enthalten.

Falls man den kompletten Satz mit allen Werten haben möchte, müsste man csvmerge nun noch mal händisch auf die Oktoberdateien loslassen. Das sollte aber kein Problem sein. Braucht man jauch nicht zwingend, eher falls man mal, warum auch immer, die Daten komplett neu einlesen lassen wollte.

Und es lief auch seit dem 27.10. völlig fehlerfrei bis jetzt durch, es lag also nicht an CMX, sondern dem bei mir zu kurz gewählten Realtime-Intervall.

LG, Lutz

[wetterHD]

Moin zusammen,

ich probiere jetzt schon seit Tagen herum und komme nicht weiter.
Könnte mir jemand mal eine genaue Anleitung geben, wie ich die zwei dateien zusammen bekomme?
CMX erzeugt bei mir zwei Dateien:
logcumulus.csv
und
logextracumulus.csv
Die Namen habe ich ausgewählt...liegt hier schon der Fehler?
Weder mit den Einstellungen in CMX noch mit der bat Datei bekomme ich eine Ausgabe.
Die Extra Sensoren habe ich erst letzte Woche aktiviert, also gibt es vorher keine Werte...

In CMX habe ich folgendes eingetragen:

External Programs
Interval program:
D:\wswin\EWCSVmerge\EWCSVmerge.exe

Interval program parameters:
D:\wswin\EWCSVmerge\Import\logcumulus.csv D:\wswin\EWCSVmerge\Import\logextracumulus.csv D:\wswin\Import\logallcumulus.csv


Danke und Gruß Christian

[olicat]

Hi!

CMXmerge und EWCSVmerge sind zwei unabhaengige Programme fuer unterschiedliche Einsatzszenarien.
Wenn die Daten von CMX kommen, reicht der Aufruf von

Code: Alles auswählen

CMXmerge.exe logcumulus.csv logextracumulus.csv ausgabedatei.csv

EWCSVmerge fuehrt hingegen die Dateien einer SD-Karte der HP2551C zusammen.

Wobei ich eigentlich erwarten wuerde, das es inzwischen auch eine kombinierte Ausgabe bei CMX gibt, was CMXmerge nicht erforderlich macht.

Oliver

[LSchenk]

Moin zusammen,

...
Könnte mir jemand mal eine genaue Anleitung geben, wie ich die zwei dateien zusammen bekomme?
...

Hallo Christian,

guckst Du hier : http://www.pc-wetterstation.de/forum/vi ... hp?p=59690

Gruß Lutz

[wetterHD]

Danke Oliver!!!
Ich hatte das gar nicht verstanden, dass es zwei unterschiedliche Programme sind.
Kein Wunder, dass es nicht ging.
Mit der SD Karte geht ja alles wunderbar.
Das werde ich morgen mal ausprobieren.

Danke und Gruß
Christian

[LSchenk]

...
Wobei ich eigentlich erwarten wuerde, das es inzwischen auch eine kombinierte Ausgabe bei CMX gibt, was CMXmerge nicht erforderlich macht.
...

Hallo Oliver, habe soeben die brandneue 3.14.2 installiert, im Data-Ordner ist noch keine kombinierte Monatsdatei zu finden.
Vielleicht hier auch noch mal die Rückmeldung, das CMXMerge im Zusammenspiel mit CMX und WsWin seit den ersten kurzen Problemchen tadellos läuft!

Gruß Lutz

[olicat]

Hi!

Vielen Dank fuer die Rueckmeldung. Das freut mich!
Ich nutze dieses Tool tatsaechlich selbst nicht und wuerde somit nichtmal selbst mitbekommen, wenn es etwaige Probleme gibt.
Danke!

Oliver