Speicherung auf SD Karte funktioniert nicht richtig - GW3000A

[Mike97]

ALs ich heute testweise die Daten (26.12 - 31.12) der SD-Karte heruntergeladen und durch EWCSVmerge2 gejagt habe fiel mir auf das bei der zusammengeführten Datei die Zeit- und Datumsstempel fehlten. Schnell stellte sich heraus das der GW3000A wohl die Speicherung nicht richtig hinbekommt. Nicht nur das jede Stunde eine Minute übersprungen wird (in beiden erstellten Dateien), und zwar in dem Schema:

14:09
14:10
14:12
14:13

dann eine Stunde später das selbe nur eine Minute versetzt:

15:10
15:11
15:13
15:14

Und so geht das dann Stück für Stück weiter. Dazu kommt das die Datei Allsensors.csv einfach nach 3 Tagen aufgehört hat bzw. die Speicherung am Ende komplett durcheinander gerät, ich habe mal ein Screenshot gemacht:

Fehler Dateispeicherung SD-Karte.jpg (411.38 KiB) 817 mal betrachtet

Irgendwie ist das ganz komisch. Die SD-Karte die ich eingesetzt habe, hat vorher in dem HP2551C Display gut funktioniert und das fast 3Jahre lang.

Es existierten zwar schon Daten für Dezember 2024 (bis zum umwechseln auf den GW3000A)auf der Karte, aber der hat es ja auch geschafft die Daten dann umzubenennen, also nicht "202412Allsensors_A" sondern dann "202412Allsensors_B".

Ich habe übrigens festgestellt, dass das Problem mit der übersprungenen Minute auch in der neu angefangenen Datei für Januar passiert. Deswegen befürchte ich das es auch hier zu Problemen kommen könnte. Hat jemand das selbe Phänomen oder kann zumindest vermuten was das ist?

[DocSchneida]

Hi,

Bei mir fehlt z.B. Minute: 37 in beiden Dateien.

Gruß Alex

[Gyvate]

was die Namensgebung anbetrifft - im WiKi nachlesen, was ein Hochzählen der Buchstaben bewirkt.

hinter der fehlenden Minute liegt möglicherweise ein (Zeit-)Rundungsproblem. Es tritt bei mir jeweils nach 60 Einträgen auf. Mein Intervall ist 5 Minuten. Das gleiche auch bei meinem WS6210.

Aber bei Euch, mit einem 1 Minutenintervall, ist es auch nach 60 Einträgen (dann eine Stunde) so.

Ich werde mal bei Ecowitt dazu nachfragen.

[olicat]

Hi!

Es handelt sich hier um das schon lange existierende Problem, dass der eingegebene Intervall eben nicht der Abstand zwischen zwei Sendungen ist, sondern die Dauer der Pause zwischen zwei Sendungen.
Somit verschiebt sich dann bei einem 60-Sekunden-Intervall jede Sendung um eine Sekunde - nach 60 Minuten fehlt dann eine Minute.

Dies betrifft sowohl den Sendeintervall (etwa via custom server) als auch das lokale Abspeichern auf SD-Karte.

Oliver

[Mike97]

@olicat: Alles klar danke für die Info, dann gab es das mit der fehlenden Minute vermutlich schon immer und es lief bei mir bisher unter dem Radar.

@Gyvate: Das mit dem Kürzel wusste ich, deswegen schrieb ich ja: "...der hat es ja auch geschafft die Daten dann umzubenennen, also nicht "202412Allsensors_A" sondern dann "202412Allsensors_B" ", da zumindest das funktioniert hat. Denn ich hatte ja vorher die SD-Karte in der anderen Konsole.

Es bleibt nur zu klären was da mit dem Allsensors-Datei passiert ist. Also das er erst beim Schreiben durcheinander kommt und dann auch noch einfach aufhört in die Datei zu schreiben kenne ich so noch nicht. Es sieht ja irgendwie so aus als wenn der erst zwei Einträge des selben Zeitstempels gemacht hätte und dann komplett verrutscht ist, aber warum?

Ich hoffe das passiert jetzt nicht häufiger, denn die Dateien (die dann in WsWin importiert werden) nutze ich für mein lokales Archiv. Das brauche ich noch so lange, bis ich mal zeit dafür finde Cumulus 24/7 auf einem raspberry pi laufen zu lassen.

[Mike97]

Ich verzweifele langsam.

Die Dateien auf der SD-Karte sehen bis jetzt (Datei für Januar) eigentlich gut aus. Leider geht EWCSVmerge2 nicht mehr. Die Importdatei für WsWin hat keine Daten und Zeitstempel mehr, also die ersten beiden Spalten sind einfach leer. Zudem wird die Importdatei nicht mehr richtig benannt anstatt dem bekannten Muster (YYMMDDhhmmss-EWCSVmerge2.csv) heißt die erstellte Datei einfach nur "250105025417-WSWinImport.csv"! Zudem werden die Zellen wo keine Werte für die Sensoren vorhanden sind mit ",-" gefüllt, das war vorher auch nicht.

Alles ist so wie immer, nur das die SD-Karte im GW3000 steckt und dieser auf englisch gestellt ist, also die Wetterwerte jetzt in der Datei englisch benannt sind. Aber das wird ja keinen Einfluss haben? Sonst sehe ich keinen Unterschied zu vorher.


So wie es also aussieht ist der Betrieb der SD-Karte im GW3000 so für mich nicht brauchbar.

[Gyvate]

So wie es also aussieht ist der Betrieb der SD-Karte im GW3000 so für mich nicht brauchbar.

Mmmh - ist das jetzt nicht so, dass der Schwanz mit dem Hund wackelt ... ?
1. M.M.n sind das Problem ja nicht die CSV-Dateien des GW3000 sondern deren Umsetzung der Daten in das Format, das Wswin für seinen Dateiüberwachungsimport benötigt.
Also die aktuelle Version von EWCSVMerge2 bringt nicht das gewünschte Ergebnis.
Wir erwarten doch jetzt nicht von Ecowitt, dass das Format in GW3000/WS6210 so umgestellt wird dass EWCSVMerge2 funktioniert. Da müsste doch eher EWCSVMerge2 angepasst werden, oder ?
=> EWCSVMerge2 ist in der gegenwertigen Form nicht brauchbar für Deine Zwecke und nicht etwa die CSV-Dateien im GW3000.
2. vielleicht kann ja @olicat, so er Zeit dazu findet, sein Program auf das GW3000/WS6210 Datenformat umstellen bzw. eine "GW3000-Version" erstellen.
3. Wenn der Import nicht stündlich erfolgen soll, gibt es ja immer noch die manuelle Übergangslösung mit Excel.

Diese geht mit einmaliger gründlicher Vorarbeit doch relativ schnell von statten (ich schätze mal 5 Minuten Aufwand).
Für Wswin werden ja anstelle der Spaltenüberschriften entsprechende Zahlencodes verwendet. Dabei weiss ich nicht, ob die Spaltenreihenfolge dafür zwingend aufsteigend sortiert sein muss oder es nur auf die richtige Ziffer im Spaltenkopf ankommt. Wenn letzteres der Fall ist, gestaltet sich die Umformatierung in Excel eigentlich sehr schnell und einfach, wenn die jeweiligen Ziffern als Kopfzeile festgelegt sind. Für die ggf. nötige Datum-Zeit-Format-Umstellung reicht i.d.R. eine Formel.
Auch das Umsortieren nach Spaltenreihenfolge geht ganz schnell und einfach.

- die csv-DAteien in .txt umbenennen (sieht auf den ersten Blick komisch aus, macht das Leben aber einfacher ...)
- die 202501_A.txt (Dateiname Beispiel) als CSV UTF-8 importieren - Delimiter Komma, Format Text - dann ist die Datei bereits spaltengerecht im Excel-Tab
- die 202501AllSensors_A_txt analog in einen zweiten Tab importieren
- in Tab 2 Alles markieren und hinter die letzte Spalte von Tab 1 kopieren
- jetzt erst mal alle Spalten von Sensoren bzw. Werten, die Du nicht hast einschließlich einer der jetzt doppelten Zeitstempel, löschen
- Datum/Zeit entsprechend - falls nötig - umformatieren (hier muss ggf. einmalig etas Hirnschmalz her, später kann man die Formel wiederverwenden)
- unter den Textüberschriften eine Spalte einfügen, in die die Wswin Nummern eingetragen werden
- diese Nummern passend eintragen (dürfte die größte Arbeit sein, wobei je nach Sensorenzahl sich auch das in Grenzen hält)
- das Ganze als Vorlage speichern
- die Spalte mit den Textüberschriften löschen
- wenn Wswin die aufsteigende Ziffernreihenfolge braucht, nach Spaltenüberschrift sortieren
- die Datei als CSV mit dem von WSwin erwarteten Namen speichern


Was die unten beschriebenen "Aussetzer" angeht, muss man sich das mal genauer anschauen, warum sich dein GW3000 hier verschluckt. Könnte auch an der SD-Karte liegen ...

Ich habe mir meine 202412AllSensors_B.csv (meiner WS6210) mal angeschaut und habe da für den gesamten Dezember keine Aussetzer gefunden. Dass mein Speicherintervall 5 Minuten beträgt, sollte da nichts ausmachen. Und ich habe garantiert signifikant mehr aktive Sensoren als Du. In meiner kleineren (erst am 27.12. gestarteten) GW3000 AllSensors CSV finden sich auch keine Aussetzer.

[olicat]

Hi!

Wenn mir mal jemand den Speicherinhalt der SD-Karte als ZIP zustellen könnte, würde ich mir das bzgl. EWCSVmerge mal ansehen.
Mein GW3000 kommt erst Ende Januar an.

Oliver

[LE-Wetter]

Wie die Datei heißt für den Import ist eigentlich Wurst, Hauptsache der Zeitstempel ist da, wenn der fehlt ist natürlich Import unmöglich, wie sollen denn die Werte wissen wohin sie sollen.
Ich hatte jetzt mal eine x-csv gebastelt für 8 Temperatur/Feuchte Sensoren, einen WH35, 3 Bodenfeuchtesensoren und 4 Temperatursensoren, dann sind die Möglichkeiten für ein WsWin aber auch erschöpft. Warum aber die WN34 nicht in Reihenfolge gesetzt sind, sondern Platz 1, 3,4 und 8 weiß ich nicht (oder stellt man das selbst ein, ich kenne die Station ja nicht). Problem, ein Zusammenführen mit der anderen SD Karte ist nicht mehr möglich, weil ich die Hauptsensoren Temp. I/Feuchte I und Temp.A/Feuchte A mit verbraten habe, die sind aber in der Konfiguration der Grundwerte (Regen, Wind etc) schon vorhanden sind.
Ob eine Erweiterung der Kapazitäten für die Station "Wetter-Sensor" möglich ist, weiß ich nicht, sonst muss man halt mit zwei (oder mehr) verschiedenen Konfigurationen in WsWin auskommen.
Wenn aber einfach die Struktur der Dateien in der SD Karte geändert wird, hast du kaum Chancen, oder du bastelst bis zum Umfallen an der csv

[Mike97]

@Gyvate und olicat: Sicher das EWCSVmerge das Problem ist? Ich erkenne wie gesagt kein Unterschied an den beiden CSVs zu vorher, oder hat Ecowitt da was gesagt? Ich war vielleicht auch schon zu müde.

Hier die zip, dann könnt ihr die Dateien mal anschauen, vielleicht erkennt ihr den Unterschied bzw. das Problem:

GW3000 Wetterdaten.zip

(93.81 KiB) 15-mal heruntergeladen

@LE-Wetter: Ich habe schon die Zeitstempel in den beiden Ursprungs CSV-Dateien. Dieser wird nur nicht mehr richtig in die Zusammengeführte Importdatei übernommen. Ein Versuch daraus eine Importdatei selbst zu basteln ist mir bisher nicht geglückt. Zumindest hat das hinzufügen der Zeit und Datumsspalte (habe die aus den Ausgangsdateien 1zu1 übernommen, da ja manchmal eine Minute übersprungen wird) in der unfertigen Importdatei nicht geklappt. WsWin macht dann einfach nichts, wenn ich auf importieren drücke.

-------------

Update: ich konnte die Importdatei basteln! Das Zeitformat war nicht richtig, das war das einzige was den Importvorgang verhindert hat (war wohl wirklich zu müde vorher). Somit muss ich nach dem Zusammenführen nur die Datums und Zeitspalte manuell einfügen und die Datei umbenennen. Zumindest erstmal ein Workaround gefunden!