CumulusMX und lokale Datenwiederherstellung (backfill) von einer GW3000 oder WS6210 SD Karte

[Gyvate]

Ab Version 4.4.x wird CumulusMX auch das Wiederherstellen, Auffüllen von nicht gespeicherten Daten in CMX für die GW3000 und WS6210 Gateways beherrschen.

Bisher ging das nur mit den Daten aus der Ecowitt Cloud (ecowitt.net). Wenn aber CMX abstürzt oder abgeschaltet wird oder das lokale Netzwerk gestört ist bekommt es keine Daten. Solange eine Internetverbindung bestand, können die Daten auch aus der Ecowitt Cloud nachgeladen werden. Bei lokalen Netzwerkproblemen aber nicht, da in der Cloud nichts gespeichert wird. Auf der SD-Karte wird es schon gepeichert, solange nicht auch ein GW3000 oder ein WS6210 stromlos wird.

Mit der Stationswahl "HTTP local API" und dem Ankreuzen der SD Karten Option lässt sich in Zukunft auch lokal bewerkstelligen, ggf. sogar in größerer (kürzerer) Auflösung als die Ecowitt Cloud Daten, sofern im Gateway ein kürzeres Speicherintervall gewählt wurde (1-240 Minuten geht).

Mit der Station "TCP local API" geht es nicht.

Wobei ich den Begriff "TCP local API" schräg, irreführend und falsch finde.
Gemeint ist das Ecowitt-proprietäre binäre Protokoll zur lokalen API Abfrage (auch "telnet" API genannt).
Das ist aber kein TCP API sondern ein binäres API im Gegensatz zum http API.
Beide, das binäre API und http, nutzen das TCP Transport-Protokoll (TCP = Transport Control Protocol), OSI* Layer 4.
http und das binäre proprietäre Ecowitt Protokoll sind Anwendungsprotokolle, OSI layer 7 .
Das sind unterschiedliche Netzwerkebenen (Schichten), die man nicht so einfach vermischen sollte.

Bis zur Veröffentlichung werden hoffentlich auch die Dateistrukturen und Regeln beim Speichern auf der SD-Karte von Ecowitt für beide Gateways "glattgezogen", harmonisiert werden. Es wird daran gearbeitet und das synchronisierte Ergebnis hoffentlich im nächsten Firmware-Upgrade für GW3000 und WS210 enthalten sein.

*) OSI Modell: Open Systems Interconnection Model bestehend aus sieben Netzwerkebenen (layers)
1. Schicht – Bitübertragungsschicht.
2. Schicht – Sicherungsschicht. ...
3. Schicht – Vermittlungsschicht. ...
4. Schicht – Transportschicht. ...
5. Schicht – Sitzungsschicht. ...
6. Schicht – Darstellungsschicht. ...
7. Schicht – Anwendungsschicht. ..

[Gyvate]

mittlerweile wurde "local TCP" in "binary local API (legacy)" - also veraltertes Binär-API, das natürlich immer noch mit einem GW1000, WH2650, GW1100 etc. funktioniert, und halt kein IoT mehr geht und auch kein LDS01 - da muss schon das http API her.

CMX4-Ecowitt-station-type.jpg (44.48 KiB) 831 mal betrachtet

CumulusMX 4.4.0 wird das Nachlesen der von einem GW3000 oder WS6210 auf einer SD Karte gespeicherten Daten beherrschen. Die ß-Tests waren erfolgreich.

Voraussetzung:
Station Type: local http API und SD Karte angekreuzt. Ansonsten wird bei Vorhandensein des APP und API Keys und einer auf ecowitt.net gültigen MAC Adresse aus der Ecowitt-Cloud nachgeladen.
Das Cloud-Nachladen ist in 5-Minuten-Schritten für die vergangenen 90 Tage - das SD Karten-Nachladen in den Abspeicherintervallen für die SD Karte (1-240 Minuten) für den Zeitraum vorhandener Daten auf der SD für den Zeitraum > dem Zeitstempel in today.ini.
(Man könnte also bei entsprechendem EIntrag in der today.ini alle auf der SD-Karte abgespeicherten Daten nachladen bzw. eine Start-Datenbasis schaffen.)

[Gyvate]

seit gestern ist die Version 4.4.1 build 4084 offiziell freigegeben, die u.a. die vorgenannten Neuerungen mit sich bringt.

[DocSchneida]

Frage dazu:

Kommt cmx auch mit unterschiedlichen Monatsdateien klar im Format:
202503A.csv
202503B.csv ?

Ach so: Wie war gleich das Starten von 2 Instanzen mit unterschiedlichen Ports? Hab vergessen...
War das cmx32.exe -p 12345 als Bsp.? (auf Windows)

Alex

[Gyvate]

Frage dazu:

Kommt cmx auch mit unterschiedlichen Monatsdateien klar im Format:
202503A.csv
202503B.csv ?

Mal hier nachlesen:
https://meshka.eu/Ecowitt/dokuwiki/doku ... gw3000-csv
Das Backfilling (4.4.3) liest alle vorhandenen Dateien ab Auffülldatum.

Ach so: Wie war gleich das Starten von 2 Instanzen mit unterschiedlichen Ports? Hab vergessen...
War das cmx32.exe -p 12345 als Bsp.? (auf Windows)

z.B.

Code: Alles auswählen

C:\CumulusMX> CumulusMX  -p 8899

[Gyvate]

Übrigens, damit das auch bei einer WS6210 richtig klappt, muss erst noch ein noch zu veröffentlichendes Firmwareupgrade her. Dann klappt das auch mit einer WS6210, weil jetzt die Kopfzeilen (Header) der CSV Dateien noch nicht vollständig und einheitlich sind. Kommt bald mit WS6210 FW 1.1.0
Beim GW3000 klappt das jetzt einwandfrei, auch wenn auf Grund von Änderungen der Kopfzeile (z.B. Änderung von Einheiten durch Benutzer oder Firmwareupgrade) es in einem Monat mehrere Dateien vom Typ YYYYMMZ.csv bzw. YYYYXXAllSensors_Z.csv gibt.
YYYY: Jahr,
MM: Monat,
Z: A, B, C, ...

[Gyvate]

Code: Alles auswählen

Opening station type 22 - Ecowitt HTTP API
Last update: 2025-03-19T18:50:00
19.03.2025 18:59:24
Type Ctrl-C to terminate

Starting historic data catchup from SD card
Preprocessing the base sensor file(s)...
  Processing file 202503A.csv
  Processing file 202503B.csv
  Processing file 202503C.csv
  Processing file 202503D.csv
  Processing file 202503E.csv
  Processing file 202503F.csv
  Processing file 202503G.csv
  Processing file 202503H.csv
Preprocessing the extra sensor file(s)...
  Processing file 202503Allsensors_A.csv
  Processing file 202503Allsensors_B.csv
  Processing file 202503Allsensors_C.csv
Adding historic data...
 - processed 100 %Historic data processing complete
Normal running

[Gyvate]

Frage dazu:

Kommt cmx auch mit unterschiedlichen Monatsdateien klar im Format:
202503A.csv
202503B.csv ?

Ach so: Wie war gleich das Starten von 2 Instanzen mit unterschiedlichen Ports? Hab vergessen...
War das cmx32.exe -p 12345 als Bsp.? (auf Windows)

Alex

Code: Alles auswählen

Opening station type 22 - Ecowitt HTTP API
Last update: 2025-03-19T18:50:00
19.03.2025 18:59:24
Type Ctrl-C to terminate

Starting historic data catchup from SD card
Preprocessing the base sensor file(s)...
  Processing file 202503A.csv
  Processing file 202503B.csv
  Processing file 202503C.csv
  Processing file 202503D.csv
  Processing file 202503E.csv
  Processing file 202503F.csv
  Processing file 202503G.csv
  Processing file 202503H.csv
Preprocessing the extra sensor file(s)...
  Processing file 202503Allsensors_A.csv
  Processing file 202503Allsensors_B.csv
  Processing file 202503Allsensors_C.csv
Adding historic data...
 - processed 100 %Historic data processing complete
Normal running

[DocSchneida]

Moin,

Hatte hier ne kleine Start.bat unter Win10 gemacht:
----------------
cmd
D:\CumulusMX GW3000A\CumulusMX.exe -p 8997
----------------

Er startet aber nicht und bleibt im richtigen Ordner mit einem Promt stehen?
Komisch...

Alex

[olicat]

Hi!

Das cmd muss raus.
Du kannst aber erstmal im schwarzen Dos-Fenster ein exit eingeben. Dann startet auch CumulusMX.

Oliver