Export der Komplett-Daten von Ecowitt!?

Für Geräte von froggit
Antworten
keylox
Offline
Beiträge: 17
Registriert: 30 Dez 2021, 18:08
Wohnort: Hohenfinow
Hat sich bedankt: 3 mal

Export der Komplett-Daten von Ecowitt!?

#1

Beitrag von keylox »

Moin liebe Wetterbeobachter,
grad hier registriert und noch ziemlich grün möchte ich eine Frage loswerden.
Ich hoffe, ich trete keinem auf den Schlips, denn SuFu und RTFM kenne ich. Trotzdem bin ich mit meinen mittelmäßigen IT-Kenntnissen nicht zu einer Lösung gekommen.

Kurzes Profil:
56 Jahre, männlich, nordöstlich von Berlin, Froggit HP2551 mit ECOWITT-Anbindung.
Bin recht zufrieden mit der Lösung, da sie mein Informationsbedürfnis zum Wetter gut abbildet.

Was ich mir wünsche:
Ja, Ecowitt hat eine Exportfunktion. Leider, wenn man einen großen "custom"-Zeitraum exportiert (bei mir 2 Jahre), bekommt man nur 1 Datensatz pro Tag. Ich hätte gern eine CSV, in der JEDE Messung drin ist. Ja, ich bin plem plem ;)

Gibt es dafür eine Lösung? Idealerweise eine, in der ein alter Mann nicht mit github, Linux und scripten konfrontiert wird?

Würde mich freuen, was nützliches zu erfahren :)

btw. guten Rutsch allen und Gesundheit
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: Export der Komplett-Daten von Ecowitt!?

#2

Beitrag von Gyvate »

Gibt es schon - man muss ein kürzeres Intervall wählen, wenn man 5-minütige Daten haben will.
Ggf. täglich. D.h. für jeden Tag einen eigenen Export anstossen. Sind bei zwei Jahren ja nur ca. 730 Dateien. :?
Wenn die Daten schon relativ alt sind (älter als ein Jahr), kann es sein, dass nur noch stundenweise bzw. 3-4 stundenweise abgerufen werden kann.
Exportiert wird, was man sieht.
Also mal entsprechende Zeiträume auswählen und sehen, welche Intervalle noch angezeigt werden.
Nach meiner Erfahrung sind es
täglich - 5 Minuten
wöchentlich - 30 Minuten
monatlich - 4 Stunden
Jährlich - 24 Stunden (1 Tag)
Daten älter als ein Jahr:
täglich - 4 Stunden
wöchentlich - 4 Stunden
monatlich - 4 Stunden
jährlich - 1 Tag
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
keylox
Offline
Beiträge: 17
Registriert: 30 Dez 2021, 18:08
Wohnort: Hohenfinow
Hat sich bedankt: 3 mal

Re: Export der Komplett-Daten von Ecowitt!?

#3

Beitrag von keylox »

Danke @Gyvate für die ausführlichen Erläuterungen. Das deckt sich im Kern mit meinen eigenen Erkenntnissen.

Daten, älter 3 Monate werden von ECOWITT auf einen 30min Takt reduziert (bei Export "daily")
Daten, älter 12 Monate werden von ECOWITT auf einen 4h Takt reduziert (bei Export "daily")
Es gibt keine Möglichkeit, älterer Daten mit engerem Takt zu bekommen. Schon klar, dass ECOWITT die Datenmenge begrenzen möchte.

Der Export größerer Zeitabschnitte senkt die Taktung weiter ab - macht also keinen Sinn. Ein Export für JEDEN Tag geht, ist aber sehr mühsam. Ich habe (quick´n´dirty) mit einem Macrogenerator erstmal knapp 700 Tagesexporte erzeugt. Das hat wenig Mühe gemacht und ungefähr 1,5h gedauert (Macro in Echtzeit). Dazu habe ich die opensource https://www.macrocreator.com verwendet. Dieses Tool ist intuitiv bedienbar und sehr mächtig (fast ZU mächtig).

Nun will ich noch schauen, ob ich mit dem Macrogenerator die knapp 700 Dateien auch per copy paste in eine CSV reinbekomme.

Bevor die Frage aufploppt: Ja, ich weiß, dass die HP2551 auch einen eigenen Datenexport hat. Dieses Rein-und-Raus-Gefummel der micro-SD ist mir aber echt zu mühselig.

...und, es gibt einen weiteren vielversprechenden Ansatz, den man sich hier: https://github.com/comes/ecowitt2weewx erarbeiten kann. Das übersteigt aber meine technischen Fähigkeiten, da hier anscheinend eine PHP-Umgebung und Geschick mit Scripting erforderlich ist. Als "Windows-Mauseschieber" müsste ich das ne Menge Zeit und Nerven investieren, um die Machbarkeit abzuchecken.
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: Export der Komplett-Daten von Ecowitt!?

#4

Beitrag von Gyvate »

Also, das ist ja jetzt (ggf. notwendige) Vergangenheitsbewältigung.

Für die Zukunft würde ich die Verwendung der CumulusMX Software vorschlagen.
Technisch gesagt: ein Datenlogger. Siehe unser WiKi.
Man kann sie so einstellen, dass sie ihre Daten (von der HP2551) live, online minütlich aufzeichnet.
Das sind dann zwei CSV-Dateien, die man, wenn man will, mag, möchte, weiterverarbeiten kann.
Eine für die Basissensoren: Aussen- und Innentemperatur/-Feuchte, Wind, Regen, Sonne, Luftdruck.
Eine für alle (vorhandenen) restlichen Sensoren. Wechsel im monatlichen Rhythmus.
CMX nutzt sie als Datenbasis. Historische CSV-Daten (z.B. von ecowitt.net) können mit etwas Aufwand (Excel, Copy-Paste) übernommen werden. Das Forum unterstützt hier bei Bedarf gerne.
CMX bietet selbst auch eine Menge Auswertungen (Tabellen, Grafiken, Webseiten) von zu Hause aus an. Preis: Geld: Null. Aufwand wenig.
Läuft unter Windows, Linux, MacOS.

Damit die Aufzeichnug lückenlos bleibt, sollte der Computer, auf dem CMX läuft, 24/7 laufen (Datenlogger !).
Dazu bietet sich wegen Aufwand, Strom, Geräusch, ... etc. ein RaspberryPi Computer an.
Auf dem lässt sich sogar mit wenig Aufwand ein WIndows 11 installieren. Habe ich ausprobiert - funktioniert.
(Ich habe den RPi auch unter Raspbian/Debian (Linux-Derivat) laufen). Es muss allerdings für Win11 ein RPi4B mit 4 GB sein, damit er auch genügend (Rechen-)Power hat.

Anzeigen kann man sich alles per Web-Brower (lokal, im Netzwerk, ...). Wenn man an die Daten will, geht das per Netzwerkfreigabe auf dem PC bzw. über VNC (Virtual Network Computing). Ein Programm (VNC Server) auf dem RPi installiert (läuft permanent mit), ein Programm (Client) auf dem Nutzer-PC (auf einem oder beliebig vielen). Damit sieht man den Desktop des fernen Computer (hier RPi) und bedient ihn mit Maus, Tastatur des PC/Laptops.

Es gibt auch für Laien durchführbare Anleitungen, Win11 auf einen RPi zu bringen. Die Installation von CMX ist dann ein Klacks. Herunterladen, Entpacken, Programm starten. Mit dem eingebauten Wizard konfugieren (führt Schritt für Schritt durch die nötigen Installationsschritte - allerdings in Englisch). Neustarten. Fertig. Die Konsole (HP2551) sendet ihre Daten dann zum RPi/CMX, so wie parallel auch zu ecowitt.net

Das Ganze geht natürlich auch mit weewx, allerdings sind dazu viel mehr Linux-Kenntnisse nötig. (Und es gibt weitere Programme oder Lösungen: nicht kostenfrei aber auch nicht teuer z.B. Meteobridge oder WeatherDisplay oder das deutsche WsWIN))
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
keylox
Offline
Beiträge: 17
Registriert: 30 Dez 2021, 18:08
Wohnort: Hohenfinow
Hat sich bedankt: 3 mal

Re: Export der Komplett-Daten von Ecowitt!?

#5

Beitrag von keylox »

Das klingt jetzt wirklich sehr vielversprechend und ich schaue es mir sofort mal an.
Wenn ich es reibungslos zum laufen bekommen, habe ich ab 2022 vollständige Daten.

Das mit dem Raspi ist eine guter Plan. Ich habe allerdings keinen 4er parat. Aber ich habe ein QNAP-NAS, auf dem als virtueller PC ein WIN11 läuft. Damit probiere ich es mal.
Benutzeravatar
Gyvate
Offline
Beiträge: 2479
Registriert: 10 Aug 2021, 23:41
Wohnort: Saarbrücken
Hat sich bedankt: 12 mal
Danksagung erhalten: 375 mal
Kontaktdaten:

Re: Export der Komplett-Daten von Ecowitt!?

#6

Beitrag von Gyvate »

CMX Forum https://cumulus.hosiene.co.uk/viewforum.php?f=40
Programmdownload CMX eigene WiKi: https://cumuluswiki.org/a/Software#Current_Release
DIe HP2551 Konsole als http(Ecowitt) einrichten.

Unser WiKi: wiki/doku.php?id=wiki:software:cumulusmx
Ecowitt WS2320E,HP2553,HP3501,GW2001,GW1100, GW1000,WH2650,WN1910,WN1980, Meteobridge RPi4B-2GB/(16)32GB SLC 3165, Weewx 4.5.1/4.10.2, CumulusMX 3.28.4 b3282, Barani MeteoShield Pro, MetSpecRad02, Personal Weather Tablet(PWT) - http://meshka.eu
keylox
Offline
Beiträge: 17
Registriert: 30 Dez 2021, 18:08
Wohnort: Hohenfinow
Hat sich bedankt: 3 mal

Re: Export der Komplett-Daten von Ecowitt!?

#7

Beitrag von keylox »

Update:
CMX installiert und über das ECOWITT-Protokoll kommen auch schon Daten meiner Froggi rein. Danke für den Tipp.
wetterHD
Offline
Beiträge: 93
Registriert: 23 Dez 2021, 08:19
Wohnort: Heidelberg
Hat sich bedankt: 15 mal

Re: Export der Komplett-Daten von Ecowitt!?

#8

Beitrag von wetterHD »

keylox hat geschrieben: 31 Dez 2021, 08:35 Bevor die Frage aufploppt: Ja, ich weiß, dass die HP2551 auch einen eigenen Datenexport hat. Dieses Rein-und-Raus-Gefummel der micro-SD ist mir aber echt zu mühselig.
Geht mir auch so...ist etwas schwierig.
Ich habe bei dem großen A... einen Adapter/Verlängerung gefunden.
Einfach nach
Cablecc Micro SD TF Speicherkarten-Set, Stecker auf Buchse, Verlängerungsadapter, Extender, Test-Tools, PCBA
suchen.
Ich probiere das demnächst mal aus.

Gruß Christian
dnt WeatherScreen Pro (=Froggit HP1000se Pro black-edition =Ecowitt HP2551C) bis 31.12.2021 TFA Nexus mit WSWin
keylox
Offline
Beiträge: 17
Registriert: 30 Dez 2021, 18:08
Wohnort: Hohenfinow
Hat sich bedankt: 3 mal

Re: Export der Komplett-Daten von Ecowitt!?

#9

Beitrag von keylox »

Coole Idee! Danke für den Tipp!!
wetterHD
Offline
Beiträge: 93
Registriert: 23 Dez 2021, 08:19
Wohnort: Heidelberg
Hat sich bedankt: 15 mal

Re: Export der Komplett-Daten von Ecowitt!?

#10

Beitrag von wetterHD »

Ist gerade angekommen und gleich probiert.
1000x besser :D :thumbup:

Gruß Christian
Dateianhänge
20220103_175518_1440x1080.jpg
20220103_175518_1440x1080.jpg (56.61 KiB) 1894 mal betrachtet
20220103_175522_1440x1080.jpg
20220103_175522_1440x1080.jpg (76.49 KiB) 1894 mal betrachtet
20220103_175635_1440x1080.jpg
20220103_175635_1440x1080.jpg (91.29 KiB) 1894 mal betrachtet
20220103_175630_1440x1080.jpg
20220103_175630_1440x1080.jpg (105.57 KiB) 1894 mal betrachtet
dnt WeatherScreen Pro (=Froggit HP1000se Pro black-edition =Ecowitt HP2551C) bis 31.12.2021 TFA Nexus mit WSWin
Antworten