EWCSVmerge - Zusammenführen der CSV-Dateien von der HP2551C/HP1000SE Pro für WSWin und Excel etc.

[olicat]

Hi!

Nachdem ich feststellen musste, dass auch die WS6210 mit aktueller Firmware v1.1.2 einen anderen Aufbau des CSV hat, muss ich heute nochmal eine neue Beta-Version v0.12 von EWCSVmerge nachliefern.
Bei dieser Version sollte nun auch das Format der WS6210 in Firmware v1.1.2 korrekt verarbeitet werden.

Bitte testen und zurückmelden. Vielen Dank!

ich hab mich da schon entschieden:
soilMoistTemp1..16
soilMoistEC1..16

Kannst Du das bitte etwas ausfuehrlicher erklaeren? Ich stehe da auf dem Schlauch ...
Danke!

Oliver

[Gyvate]

Ecowitt gelobt Besserung !
Auf die Diskrepanzen zwischen den CSV-Dateien der jeweiligen Konsolen (HP25x0, WS6210, GW3000) angesprochen, will man die Situation "optimieren" (Chinesisch für die Diskrepanzen beseitigen).
Ausserdem habe ich angeregt, Firmwareupgrades, die Änderungen in den CSV-Dateien bewirken, auch zeitgleich für alle (bislang drei) betroffenen Konsolen zu veröffentlichen.
Die Sonderdaten der WS6210, die die Stromversorgung der Konsole betreffen, sollen permanent ans Ende des Datensatzes gestellt werden, dorthin, wo für die beiden anderen die Daten aufhören. Das betrifft die YYYYMMDDZ.CSV Datei

[olicat]

Hi!

Vielleicht koennte man die Sonderlocken als leere Felder in den anderen CSVs einbauen?
Das waere jedenfalls mein Ansatz ...

Oliver

[Werner]

@Oliver,

Kannst Du das bitte etwas ausfuehrlicher erklaeren? Ich stehe da auf dem Schlauch ...

Betrifft nur wie ich diese Daten als "Observation" zur Verfügung stelle.

Zu den Unterschieden in der CSV's (hier nur GW3000 und WS6210 verglichen:

Code: Alles auswählen

WS6210:	Time,Timestamp,Indoor Temperature(°C),Indoor Humidity(%),Outdoor Temperature(°C),Outdoor Humidity(%),Dew Point(°C),Feels Like(°C),BGT(°C),WBGT(°C),VPD(kPa),Wind(km/h),Gust(km/h),Wind Direction(deg),10Min.Avg Wind Direction(deg),ABS Pressure(hPa),REL Pressure(hPa),Solar Rad(W/m2),UV-Index,Console Battery (V),External Supply (V),Console Battery Percentage,Charge,Rain Rate(mm/Hr),24h Rain(mm),Hourly Rain(mm),Event Rain(mm),Daily Rain(mm),Weekly Rain(mm),Monthly Rain(mm),Yearly Rain(mm),Piezo Rate(mm/Hr),Piezo 24h Rain(mm),Piezo Hourly Rain(mm),Piezo Event Rain(mm),Piezo Daily Rain(mm),Piezo Weekly Rain(mm),Piezo Monthly Rain(mm),Piezo Yearly Rain(mm)
GW3000:	Time,Timestamp,Indoor Temperature(°C),Indoor Humidity(%),Outdoor Temperature(°C),Outdoor Humidity(%),Dew Point(°C),Feels Like(°C),BGT(°C),WBGT(°C),VPD(kPa),Wind(km/h),Gust(km/h),windDir_10min_avg(deg),Wind Direction(deg),       ABS Pressure(hPa),REL Pressure(hPa),Solar Rad(W/m2),UV-Index,                                                                          Rain Rate(mm/Hr),24h Rain(mm),Hourly Rain(mm),Event Rain(mm),Daily Rain(mm),Weekly Rain(mm),Monthly Rain(mm),Yearly Rain(mm),Piezo Rate(mm/Hr),Piezo 24h Rain(mm),Piezo Hourly Rain(mm),Piezo Event Rain(mm),Piezo Daily Rain(mm),Piezo Weekly Rain(mm),Piezo Monthly Rain(mm),Piezo Yearly Rain(mm)

WS6210:	Time,Timestamp,CH1 Temperature(°C),CH1 Dew point(°C),CH1 HeatIndex(°C),CH1 Humidity(%),CH2 Temperature(°C),CH2 Dew point(°C),CH2 HeatIndex(°C),CH2 Humidity(%),CH3 Temperature(°C),CH3 Dew point(°C),CH3 HeatIndex(°C),CH3 Humidity(%),CH4 Temperature(°C),CH4 Dew point(°C),CH4 HeatIndex(°C),CH4 Humidity(%),CH5 Temperature(°C),CH5 Dew point(°C),CH5 HeatIndex(°C),CH5 Humidity(%),CH6 Temperature(°C),CH6 Dew point(°C),CH6 HeatIndex(°C),CH6 Humidity(%),CH7 Temperature(°C),CH7 Dew point(°C),CH7 HeatIndex(°C),CH7 Humidity(%),CH8 Temperature(°C),CH8 Dew point(°C),CH8 HeatIndex(°C),CH8 Humidity(%),WH35 CH1hum(%),WH35 CH2hum(%),WH35 CH3hum(%),WH35 CH4hum(%),WH35 CH5hum(%),WH35 CH6hum(%),WH35 CH7hum(%),WH35 CH8hum(%),Thunder time,Thunder count,Thunder distance(km),AQIN Temperature(°C),AQIN Humidity(%),AQIN CO2(ppm),AQIN PM2.5(ug/m3),AQIN PM10(ug/m3),AQIN PM1.0(ug/m3),AQIN PM4.0(ug/m3),SoilMoisture CH1(%),SoilMoistureAD CH1,                                   SoilMoisture CH2(%),SoilMoistureAD CH2,                                   SoilMoisture CH3(%),SoilMoistureAD CH3,                                   SoilMoisture CH4(%),SoilMoistureAD CH4,                                   SoilMoisture CH5(%),SoilMoistureAD CH5,                                   SoilMoisture CH6(%),SoilMoistureAD CH6,                                   SoilMoisture CH7(%),SoilMoistureAD CH7,                                   SoilMoisture CH8(%),SoilMoistureAD CH8,                                   SoilMoisture CH9(%),SoilMoistureAD CH9,                                   SoilMoisture CH10(%),SoilMoistureAD CH10,                                     SoilMoisture CH11(%),SoilMoistureAD CH11,                                     SoilMoisture CH12(%),SoilMoistureAD CH12,                                     SoilMoisture CH13(%),SoilMoistureAD CH13,                                     SoilMoisture CH14(%),SoilMoistureAD CH14,                                     SoilMoisture CH15(%),SoilMoistureAD CH15,                                     SoilMoisture CH16(%),SoilMoistureAD CH16,                                     Water CH1,Water CH2,Water CH3,Water CH4,Pm2.5 CH1(ug/m3),Pm2.5 CH2(ug/m3),Pm2.5 CH3(ug/m3),Pm2.5 CH4(ug/m3),WN34 CH1(°C),WN34 CH2(°C),WN34 CH3(°C),WN34 CH4(°C),WN34 CH5(°C),WN34 CH6(°C),WN34 CH7(°C),WN34 CH8(°C),LDS_Air CH1(mm),LDS_Depth CH1(mm),LDS_Heat CH1,LDS_Air CH2(mm),LDS_Depth CH2(mm),LDS_Heat CH2,LDS_Air CH3(mm),LDS_Depth CH3(mm),LDS_Heat CH3,LDS_Air CH4(mm),LDS_Depth CH4(mm),LDS_Heat CH4,
GW3000:	Time,Timestamp,CH1 Temperature(°C),CH1 Dew point(°C),CH1 HeatIndex(°C),CH1 Humidity(%),CH2 Temperature(°C),CH2 Dew point(°C),CH2 HeatIndex(°C),CH2 Humidity(%),CH3 Temperature(°C),CH3 Dew point(°C),CH3 HeatIndex(°C),CH3 Humidity(%),CH4 Temperature(°C),CH4 Dew point(°C),CH4 HeatIndex(°C),CH4 Humidity(%),CH5 Temperature(°C),CH5 Dew point(°C),CH5 HeatIndex(°C),CH5 Humidity(%),CH6 Temperature(°C),CH6 Dew point(°C),CH6 HeatIndex(°C),CH6 Humidity(%),CH7 Temperature(°C),CH7 Dew point(°C),CH7 HeatIndex(°C),CH7 Humidity(%),CH8 Temperature(°C),CH8 Dew point(°C),CH8 HeatIndex(°C),CH8 Humidity(%),WH35 CH1hum(%),WH35 CH2hum(%),WH35 CH3hum(%),WH35 CH4hum(%),WH35 CH5hum(%),WH35 CH6hum(%),WH35 CH7hum(%),WH35 CH8hum(%),Thunder time,Thunder count,Thunder distance(km),AQIN Temperature(°C),AQIN Humidity(%),AQIN CO2(ppm),AQIN PM2.5(ug/m3),AQIN PM10(ug/m3),AQIN PM1.0(ug/m3),AQIN PM4.0(ug/m3),SoilMoisture CH1(%),SoilMoistureAD CH1,SoilEC CH1(us/cm),SoilTemp CH1(°C),SoilMoisture CH2(%),SoilMoistureAD CH2,SoilEC CH2(us/cm),SoilTemp CH2(°C),SoilMoisture CH3(%),SoilMoistureAD CH3,SoilEC CH3(us/cm),SoilTemp CH3(°C),SoilMoisture CH4(%),SoilMoistureAD CH4,SoilEC CH4(us/cm),SoilTemp CH4(°C),SoilMoisture CH5(%),SoilMoistureAD CH5,SoilEC CH5(us/cm),SoilTemp CH5(°C),SoilMoisture CH6(%),SoilMoistureAD CH6,SoilEC CH6(us/cm),SoilTemp CH6(°C),SoilMoisture CH7(%),SoilMoistureAD CH7,SoilEC CH7(us/cm),SoilTemp CH7(°C),SoilMoisture CH8(%),SoilMoistureAD CH8,SoilEC CH8(us/cm),SoilTemp CH8(°C),SoilMoisture CH9(%),SoilMoistureAD CH9,SoilEC CH9(us/cm),SoilTemp CH9(°C),SoilMoisture CH10(%),SoilMoistureAD CH10,SoilEC CH10(us/cm),SoilTemp CH10(°C),SoilMoisture CH11(%),SoilMoistureAD CH11,SoilEC CH11(us/cm),SoilTemp CH11(°C),SoilMoisture CH12(%),SoilMoistureAD CH12,SoilEC CH12(us/cm),SoilTemp CH12(°C),SoilMoisture CH13(%),SoilMoistureAD CH13,SoilEC CH13(us/cm),SoilTemp CH13(°C),SoilMoisture CH14(%),SoilMoistureAD CH14,SoilEC CH14(us/cm),SoilTemp CH14(°C),SoilMoisture CH15(%),SoilMoistureAD CH15,SoilEC CH15(us/cm),SoilTemp CH15(°C),SoilMoisture CH16(%),SoilMoistureAD CH16,SoilEC CH16(us/cm),SoilTemp CH16(°C),Water CH1,Water CH2,Water CH3,Water CH4,PM2.5 CH1(ug/m3),PM2.5 CH2(ug/m3),PM2.5 CH3(ug/m3),PM2.5 CH4(ug/m3),WN34 CH1(°C),WN34 CH2(°C),WN34 CH3(°C),WN34 CH4(°C),WN34 CH5(°C),WN34 CH6(°C),WN34 CH7(°C),WN34 CH8(°C),LDS_Air CH1(mm),LDS_Depth CH1(mm),LDS_Heat CH1,LDS_Air CH2(mm),LDS_Depth CH2(mm),LDS_Heat CH2,LDS_Air CH3(mm),LDS_Depth CH3(mm),LDS_Heat CH3,LDS_Air CH4(mm),LDS_Depth CH4(mm),LDS_Heat CH4,

Die WS6210 kennt natürlich noch nicht die neuen Daten "SoilEC CHx(us/cm),SoilTemp CHx(°C)",
ansonsten gibt es nur den Unterschied
windDir_10min_avg(deg) - 10Min.Avg Wind Direction(deg)
bzw.
Pm2.5 CH1(ug/m3) - PM2.5 CH1(ug/m3) für alle 4 Möglichen Kanäle.
Die zusätzlichen Daten des WS6210
Console Battery (V),External Supply (V),Console Battery Percentage,Charge
müssen ja nicht unbedingt ausgewertet werden (meine Meinung)

[olicat]

Hi!

Betrifft nur wie ich diese Daten als "Observation" zur Verfügung stelle.

Lassen sich diese neuen Werte auch in WSWin per CSV einlesen? Etwa ueber eine EXP-Datei?
Hast Du eine ueberarbeitete SensorID-Liste? Gerne auch per PM oder Mail.
Ich bin bestrebt, so viele Felder wie moeglich (und sinnvoll) nach WSWin zu bringen ...

Oliver

[Demcko]

Hallo,
meine neue Wetterstation besteht aus dem GW3000 (V. 1.2.0), WS68, WH40H, u.a. WH31EP.
Ich versuche die Daten der SD-Karte des GW3000 mittels EWCSVmerge2 in WsWin zu importieren.
Auf der SD-Karte finden sich die Dateien 202605A.csv und 202605Allsensors_A.csv.
EWCSVmerge2 habe ich entsprechend der Anleitung ausgeführt. Im
Import-Ordner befinden sich 202605A.csv und 202605Allsensors_A.csv und im
Export-Ordner finde ich wie beschrieben die Dateien: default.csv, allsensors.csv, SDKarte-1.csv, EXP05_26.csv.
Meine Absicht ist es, die EXP05_26.csv ganz einfach in WsWin einzulesen. Allein befinden sich darin lediglich in der 1. Zeile Sensor-ID ab Spalte C (1, 17, 133, 2, pp). Kein Datum, Uhrzeit oder Wetterdaten.
Muss hier noch händisch nachgearbeitet werden?
Die default.csv, allsensors.csv, SDKarte-1.csv sind komplett befüllt.

Demcko

[olicat]

Hi!

Vermutlich gibt es wieder eine neue Struktur des CSV. Kannst Du mir die Daten zum Download bereitstellen?
Dann koennte ich das hier pruefen und ggf. anpassen.
Link bitte per PM.
Danke!

Oliver

[Gyvate]

Hi!

Vermutlich gibt es wieder eine neue Struktur des CSV. Kannst Du mir die Daten zum Download bereitstellen?
Dann koennte ich das hier pruefen und ggf. anpassen.
Link bitte per PM.
Danke!

Oliver

Nachstehend die letzten Header der GW3000 Dateien - FW 1.2.0/1.2.1
übrigens auch im englischsprachigen WiKi dokumentiert

YYYYMMZ.csv

Code: Alles auswählen

Time,Timestamp,Indoor Temperature(°C),Indoor Humidity(%),Outdoor Temperature(°C),Outdoor Humidity(%),Dew Point(°C),Feels Like(°C),BGT(°C),WBGT(°C),VPD(kPa),Wind(km/h),Gust(km/h),windDir_10min_avg(deg),Wind Direction(deg),ABS Pressure(hPa),REL Pressure(hPa),Solar Rad(W/m2),UV-Index,Rain Rate(mm/Hr),24h Rain(mm),Hourly Rain(mm),Event Rain(mm),Daily Rain(mm),Weekly Rain(mm),Monthly Rain(mm),Yearly Rain(mm),Piezo Rate(mm/Hr),Piezo 24h Rain(mm),Piezo Hourly Rain(mm),Piezo Event Rain(mm),Piezo Daily Rain(mm),Piezo Weekly Rain(mm),Piezo Monthly Rain(mm),Piezo Yearly Rain(mm)

YYYYMMAllsensors_Z.csv

Code: Alles auswählen

Time,Timestamp,CH1 Temperature(°C),CH1 Dew point(°C),CH1 HeatIndex(°C),CH1 Humidity(%),CH2 Temperature(°C),CH2 Dew point(°C),CH2 HeatIndex(°C),CH2 Humidity(%),CH3 Temperature(°C),CH3 Dew point(°C),CH3 HeatIndex(°C),CH3 Humidity(%),CH4 Temperature(°C),CH4 Dew point(°C),CH4 HeatIndex(°C),CH4 Humidity(%),CH5 Temperature(°C),CH5 Dew point(°C),CH5 HeatIndex(°C),CH5 Humidity(%),CH6 Temperature(°C),CH6 Dew point(°C),CH6 HeatIndex(°C),CH6 Humidity(%),CH7 Temperature(°C),CH7 Dew point(°C),CH7 HeatIndex(°C),CH7 Humidity(%),CH8 Temperature(°C),CH8 Dew point(°C),CH8 HeatIndex(°C),CH8 Humidity(%),WH35 CH1hum(%),WH35 CH2hum(%),WH35 CH3hum(%),WH35 CH4hum(%),WH35 CH5hum(%),WH35 CH6hum(%),WH35 CH7hum(%),WH35 CH8hum(%),Thunder time,Thunder count,Thunder distance(km),AQIN Temperature(°C),AQIN Humidity(%),AQIN CO2(ppm),AQIN PM2.5(ug/m3),AQIN PM10(ug/m3),AQIN PM1.0(ug/m3),AQIN PM4.0(ug/m3),SoilMoisture CH1(%),SoilMoistureAD CH1,SoilEC CH1(uS/cm),SoilTemp CH1(°C),SoilMoisture CH2(%),SoilMoistureAD CH2,SoilEC CH2(uS/cm),SoilTemp CH2(°C),SoilMoisture CH3(%),SoilMoistureAD CH3,SoilEC CH3(uS/cm),SoilTemp CH3(°C),SoilMoisture CH4(%),SoilMoistureAD CH4,SoilEC CH4(uS/cm),SoilTemp CH4(°C),SoilMoisture CH5(%),SoilMoistureAD CH5,SoilEC CH5(uS/cm),SoilTemp CH5(°C),SoilMoisture CH6(%),SoilMoistureAD CH6,SoilEC CH6(uS/cm),SoilTemp CH6(°C),SoilMoisture CH7(%),SoilMoistureAD CH7,SoilEC CH7(uS/cm),SoilTemp CH7(°C),SoilMoisture CH8(%),SoilMoistureAD CH8,SoilEC CH8(uS/cm),SoilTemp CH8(°C),SoilMoisture CH9(%),SoilMoistureAD CH9,SoilEC CH9(uS/cm),SoilTemp CH9(°C),SoilMoisture CH10(%),SoilMoistureAD CH10,SoilEC CH10(uS/cm),SoilTemp CH10(°C),SoilMoisture CH11(%),SoilMoistureAD CH11,SoilEC CH11(uS/cm),SoilTemp CH11(°C),SoilMoisture CH12(%),SoilMoistureAD CH12,SoilEC CH12(uS/cm),SoilTemp CH12(°C),SoilMoisture CH13(%),SoilMoistureAD CH13,SoilEC CH13(uS/cm),SoilTemp CH13(°C),SoilMoisture CH14(%),SoilMoistureAD CH14,SoilEC CH14(uS/cm),SoilTemp CH14(°C),SoilMoisture CH15(%),SoilMoistureAD CH15,SoilEC CH15(uS/cm),SoilTemp CH15(°C),SoilMoisture CH16(%),SoilMoistureAD CH16,SoilEC CH16(uS/cm),SoilTemp CH16(°C),Water CH1,Water CH2,Water CH3,Water CH4,PM2.5 CH1(ug/m3),PM2.5 CH2(ug/m3),PM2.5 CH3(ug/m3),PM2.5 CH4(ug/m3),WN34 CH1(°C),WN34 CH2(°C),WN34 CH3(°C),WN34 CH4(°C),WN34 CH5(°C),WN34 CH6(°C),WN34 CH7(°C),WN34 CH8(°C),LDS_Air CH1(mm),LDS_Depth CH1(mm),LDS_Heat CH1,LDS_Air CH2(mm),LDS_Depth CH2(mm),LDS_Heat CH2,LDS_Air CH3(mm),LDS_Depth CH3(mm),LDS_Heat CH3,LDS_Air CH4(mm),LDS_Depth CH4(mm),LDS_Heat CH4,WQT_EC(uS/cm),WQT_TOC(mg/L),WQT_TURB(NTU),WQT_COD(mg/L),WQT_TDS,WQT_CO2(ppm),Rain Level,

Der letzte Eintrag, "Rain Level", wird wahrscheinlich noch umbenannt in "Rain Status". Er entspricht dem srain der WS85/90 und stammt von einem WN64. Der srain-Zustand wird übrigens bislang nicht auf der SD-Karte gespeichert.