FOSHKplugin

[Ryps]

noch eine Frage.
Beim Versand an meine InfluxDB (Docker Container) kommt es zu folgender Fehlermeldung.

20.09.2024 13:52:03.949 <ERROR> FWD-01: InfluxDB v1 sending of 125 values to wetterdaten@10.0.0.10:8086: 401: {"code":"unauthorized","message":"Unauthorized"} (3 tries, queued)
0e4ea502a078:/opt/FOSHKplugin/log#

An sich ist das eine Influx V2 DB und ich dachte gelesen zu haben, dass die vom Plugin auch schon unterstützt ist.

Ist das so, oder muss ich da doch eine V1 aufsetzen, oder "tricksen" wie hier...wobei die "Lösung" schon 2 Jahre alt ist.

freundliche Grüße
Roman

[olicat]

Hi!

die Variable scheint übernommen zu werden, dann kommt es aber zu einer Fehlermeldung:

Sorry, da war ich wohl zu vorschnell.
Es gibt nun eine neue Beta: generic-FOSHKplugin-0.0.10Beta240920.zip - die sollte das CONFIG_DIR korrekt setzen.
In diesem Verzeichnis wird dann nicht nur die foshkplugin.conf erwartet sondern auch etwaige Dateien abgelegt.

Wahrscheinlich waere es auch sinnvoll, die Log-Dateien irgendwo auf einem externen Volume abzulegen?
Man koennte natuerlich das gleiche Verzeichnis wie fuer die Config nutzen.

An sich ist das eine Influx V2 DB und ich dachte gelesen zu haben, dass die vom Plugin auch schon unterstützt ist.

Dem ist tatsaechlich so.
Jedoch erfordert InfluxDB v2 aufgrund unterschiedlicher Herangehensweisen einen anderen Forward-Typ: FWD_TYPE = INFLUX2MET (fuer metrische Daten).

Oliver

[Ryps]

neue Beta läuft - werde dann etwas später noch testen, ob die Variable auch beim Upgrade funktioniert.

Wahrscheinlich waere es auch sinnvoll, die Log-Dateien irgendwo auf einem externen Volume abzulegen?

ist überhaupt kein Problem, mapped man beim "docker run" einfach ein weiteres Filesystem.

edoch erfordert InfluxDB v2 aufgrund unterschiedlicher Herangehensweisen einen anderen Forward-Typ: FWD_TYPE = INFLUX2MET (fuer metrische Daten).

...ist in der Doku nicht aufgeführt aber funktioniert.
Allerdings kommt jetzt ein weiterer, recht unspezifizierter Fehler:

20.09.2024 15:00:11.198 <ERROR> FWD-01: InfluxDB v2 sending of 123 values to wetterdaten@10.0.0.10:8086: InfluxSendError (3 tries, queued)
0e4ea502a078:/opt/FOSHKplugin/log# exit

so sieht meine Config dazu aus:

[Forward-1]
FWD_ENABLE = True
FWD_CMT = local InfluxDB
FWD_URL = http://10.0.0.10:8086@wetterdaten
FWD_INTERVAL = 60
FWD_IGNORE =
FWD_TYPE = INFLUX2MET
FWD_SID = xxxxx
FWD_PWD = xxxxx
FWD_STATUS = False
FWD_MQTTCYCLE = 0
FWD_EXEC =

freundliche Grüße
Roman

[olicat]

Hi!

Ich liebe unspezifische Fehlermeldungen ...
Mach mal bitte im Verzeichnis der Konfigurationsdatei foshkplugin.conf ein

Code: Alles auswählen

touch debug.enable

und schaue dann im Log-File, ob es nach einem Neustart von FOSHKplugin weitergehende Informationen im Logfile gibt.
Auch im Logfile von InfluxDB stehen vielleicht Gruende fuer die Ablehnung.

Denkbar ist ein Authentifizierungsproblem (FWD_SID/FWD_PWD).
Beachte:
bucket = dbname (der Teil hinterr dem "@" in der FWD_URL
org = fwd_sid
token = fwd_pwd

Nachtrag:
Ich werde wohl wirklich noch ein Rezept fuer InfluxDB2 machen muessen.
Achtung!
Aktuell muss der/die/das bucket noch manuell im InfluxDB angelegt werden. Bei InfluxDB 1 erzeugt FOSHKplugin die Datenbank selbst.
Zukuenftig (mit der naechsten Beta) wird es das auch fuer InfluxDB 2 koennen.

Oliver

[Ryps]

Hattest recht, war ein Authentifizierungsproblem.

Habe jetzt auf Token-Authentication umgestellt und damit klappt der Zugriff
Habe zwar jetzt noch keinen Durchblick welche Daten ich da sammle bzw. in welchen Feldern ich die finde, aber das werde ich auch noch rausfinden.

Mir ist aber noch etwas aufgefallen: wenn ich die neue Beta mit der Pfadvariable verwende, da schreibt er zwar, dass er sie verwendet und in dem Verzeichnis finden sich auch Dateien (FOSHKplugin-8080-lasthour.pkl, FOSHKplugin-8080-minmax.pkl...), aber das "forwarden" scheint nicht mehr zu funktionieren - keinerlei Messpunkte bei pwsweather und auch keine Einträge im snd-foshkplugin.log

freundliche Grüße
Roman

[olicat]

Hi!

aber das "forwarden" scheint nicht mehr zu funktionieren - keinerlei Messpunkte bei pwsweather und auch keine Einträge im snd-foshkplugin.log

Dann schau doch bitte mal auf der Seite zur Forwardstatistik - http://ipaddress:8080/FOSHKplugin/fwdstat - was dort ausgegeben wird.
Je nach Log-Einstellung landen im SND-Log nur Fehler - gibt es keine Fehler, gibt es auch keine Eintraege.

Du schreibst doch aber, dass InfluxDB 2 nun mit Daten versorgt wird - also der Forward scheint zu funktionieren?
Vielleicht ist die foshkplugin.conf oder der Forward fuer PWSWeather nicht mehr ganz in Ordnung?

Kommen ueberhaupt noch Daten der Konsole bei FOSHKplugin an? Was zeigt http://ipaddress:8080 an?

ipaddress ist jeweils die IP-Adresse des Hosts, auf dem FOSHKplugin laeuft. Aus Deinen Beitraegen entnehme ich, dass bei Dir der Standardport 8080 genutzt wird.

Oliver

[Ryps]

Guten Morgen,
ist mir jetzt ein wenig peinlich, aber mit deinem vorletzten Satz fiel es mir wie Schuppen von den Augen.

Zum Hintergrund - ich habe aktuell 2 Instanzen vom Plugin laufen (Ports 8076 und 8077).....und komplett übersehen, dass auf der WS90 ja eingestellt ist, wohin sie "liefert".
Umgestellt und funktioniert....tut mir leid, mein Fehler.

freundliche Grüße
Roman

[olicat]

Hi!

Die neue Version v0.0.10 Beta 240921 ist auf dem Server als generic-FOSHKplugin-0.0.10Beta.zip verfügbar.

Neben den Korrekturen für die gemeldeten und entdeckten Fehler gibt es auch kleinere Erweiterungen:

neu: für den Einsatz in Docker-Umgebungen kann die zu verwendende Konfigurationsdatei mit der Umgebungsvariablen FOSHKPLUGINCONFIGFILE übergeben werden
verbessert: der Ziel-Bucket für InfluxDB 2 muss nicht mehr manuell erstellt werden - er wird bei Bedarf automatisch erstellt

Update - as usual - via:

Code: Alles auswählen

sudo -u username ./generic-FOSHKplugin-install.sh -upgrade generic-FOSHKplugin-0.0.10Beta.zip
sudo -u username ./generic-FOSHKplugin-install.sh -repair

Eine -repair ist - wenn man von der letzten Beta kommt - nicht notwendig (schadet aber auch nicht).

Schönes Wochenende!

Oliver

[Ryps]

Hallo,
mit der v0.0.10 Beta 240921 klappt der Zugriff auf die InfluxDB2 nicht mehr.
Fehlermeldung:

21.09.2024 22:46:25.202 <ERROR> FWD-01: InfluxDB v2 sending of 125 values to wetterdaten@10.0.0.10:8086: The client cannot find organization with name: 'Wetter' to determine their ID. Are you using token with sufficient permission? (3 tries, queued)

wenn ich auf die v0.10 Beta 240920 wechsle, klappt der Zugriff. Nachdem sie das gleiche Configverzeichnis (und auch die gleiche Config) verwenden, hat er die queued Datensätze sogar sauber abgearbeitet

21.09.2024 22:48:09.494 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921223716 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.509 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921223817 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.523 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921223918 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.537 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921224019 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.552 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921224120 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.567 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921224221 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.580 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921224322 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.596 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921224423 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.611 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921224524 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.624 <OK> FWD-01: wrote queued data of /opt/FOSHKplugin/config/FOSHKplugin-queue/FWD-01/FOSHKplugin-queued-data-01.240921224625 to wetterdaten@10.0.0.10:8086
21.09.2024 22:48:09.625 FWD-01: InfluxDB v2 sending of 123 values to wetterdaten@10.0.0.10:8086: OK

Kann es sein, dass durch das "automatischen" Zielbucket auf meines, aufgrund unterschiedlicher Organization, nicht mehr "sauber" zugegriffen werden kann? Oder braucht der Token für die Abfrage jetzt noch zusätzliche Rechte (bislang hat ja read/write aufs bucket gereicht)?

freundliche Grüße
Roman

[olicat]

Hi!

Sehr seltsam.
Ich kann Dein Problem hier jedoch nachstellen.

Aktuell gibt es zwei Loesungsmoeglichkeiten:
1. erzeuge einen neuen Token der saemtliche Rechte (All Access API Token) besitzt und nutze diesen als FWD_PWD.
2. nutze die Beta 240920

Ich muss mir ueberlegen, ob ich die automatische Erstellung einer DB durch FOSHKplugin beibehalten will und das Problem umschiffe oder ob ich vom Nutzer nicht einfach erwarte (wie bisher), dass er den bucket selbst erzeugt.
Das kann man ja in einer Anleitung so einbauen - und auf die Administrationsoberflaeche von InfluxDB muss man ja ohnehin, weil man ja einen Token erzeugen muss.

Ich schau mal, ob ich morgen (heute) dazu komme ...

Oliver