Top Lists werden nicht mehr ausgeblendet

Ich habe seit einigen Tagen das Problem, das die in der Liste der nicht-anzuzeigenden-Urls eingetragene URLS wieder im Dashboard angezeigt werden. Woran könnte das liegen?

Meine Liste hat 5369 Einträge.

Pi-hole Version v3.1.4 Web Interface Version v3.1 FTL Version v2.11.1

Nachtrag: pihole -r brachte keinen Erfolg. Ich habe versucht, die URL Liste neu zu laden,, jetzt wird sie gar nicht mehr gespeichert....

sind die URLs korrekt in /etc/pihole/pihole-FTL.conf enthalten?

Ich habe gerade auf dem DEV Branch gewechselt, Update läuft gerade, ich schaue dann gleich nach.

wunder eine pihole-FTL.conf habe ich nicht wunder

Hab mir mal fix eine angelegt ... mal sehen

SOCKET_LISTENING=localonly
QUERY_DISPLAY=yes
AAAA_QUERY_ANALYSIS=yes
MAXDBDAYS=365
TIMEFRAME=rolling24h

Ich habe gerade geschaut, die URLs sollten aber in der setupVars.conf unter API_EXCLUDE_DOMAINS gespeichert sein. Da werden Sie aber, warum auch immer, bei mir nicht abgespeichert

Guten Morgen =)

Soeben wieder auf den Master Branch umgestellt, da in der Dev FTL nicht stabil gelaufen ist.

Vielleicht wäre es sinnvoll, im nächsten Release die unter API_EXCLUDE_DOMAINS gespeicherten Domains in einer seperaten Liste (ähnlich der Wildcards etc) zu speichern, vielleicht sogar eine DB.

Ich habe mir jetzt erstmal meine "alte" Domain Liste gespeichert, ein "Import" klappt leider nicht.

Oh ja, das habe ich irgendwie vertauscht...

Ja, das liegt daran, dass wir nun beim Aktualisieren der Listen ein SIGTERM an FTL senden, hierfür aber auch definitiv die aktuelle development Version von FTL installiert sein muss, da nur diese mit diesem Signal korrekt umgehen kann.

Es ist seltsam, dass die Domains dort nicht abgelegt werden ... funktioniert es wenn Du die Domains in der setupVars.conf per Hand einträgst?

Händisch eintragen / übertragen klappt. Aber bei 5300 Einträgen ist das viel Arbeit =)

:fearful: >5000 Einträge... also dafür habe ich es natürlich auch nie getestet... Funktioniert es denn mit wenigen Einträgen (sagen wir mal 5)?...

Ja, da funktioniert es super :wink:

Das kleine Raspi und Pi-hole versorgen auch ein großes Netzwerk :wink:

Okay, zusammengefasst:

Mit 5 Einträgen geht es, mit > 5000 nicht mehr, korrekt?

Hat es denn schon vorher mal mit > 5000 funktioniert (ich nehme das mal an)? Meines Wissens hat sich da schon lange nichts mehr geändert (gut, die Settings-Seite wurde in development geändert, aber Du verwendest nicht diese Variante, oder?).

Ja, es ging bis ca. 5200. Ich habe es gar nicht gleich mitbekommen, dass es nicht mehr geht. Ja, ich verwende die aktuelle Master Version.

Die "magische" Grenze scheint bei 5321 Einträgen zu liegen - warum auch immer ....

Ab da kann ich nur noch einzelne Eintrage hinzufügen ...

5334 ... nichts geht mehr ....

Folgendes passiert im Hintergrund sobald Du die Liste speichern willst:

Die Daten werden an den Webserver übertragen. Dieser ruft einen Befehl auf, der folgendermaßen aussieht:

pihole -a setexcludedomains abc.com,def.com,fgh.com,...

für die Domains

  • abc.com
  • def.com
  • fgh.com
  • ...

Wie Du siehst wächst der Befehl bei Dir wohl ins (nahezu) Unermessliche und irgendeiner der beteiligten Partner (vermutlich bash) steigt aus.

Ruf bitte einmal folgendes auf:

xargs --show-limits

Die Ausgabe sieht bei mir folgendermaßen aus (ich habe Zeilennummern hinzugefügt):

1 Your environment variables take up 3192 bytes
2 POSIX upper limit on argument length (this system): 2091912
3 POSIX smallest allowable upper limit on argument length (all systems): 4096
4 Maximum length of command we could actually use: 2088720
5 Size of command buffer we are actually using: 131072
6 Maximum parallelism (--max-procs must be no greater): 2147483647
^C

Wie Du in Zeile 4 siehst, unterstützt mein Raspbian maximal eine Maximallänge von ca. 2MB. Dieses Limit hast Du mit Deiner hohen Anzahl an Einträgen vermutlich gerade überschritten und bash sorgt für Ärger. Ich befürchte, dass Dein Fall zu spezifisch ist und wir da zumindest kurzfristig keine Alternative für einbauen können :confused:

So schauts auch bei mir aus. Nunja, gut Ding will Weile haben. Und Pi-hole ist das beste Stück Software, was ich in den letzten Jahren kennenlernen konnte.

Also, weiter machen wie bisher, vielleicht gibts ja irgendwann eine Lösung ...

Also ... eine Lösung gibt es indirekt schon: Du müsstest diese eine Zeile in der setupVars.conf per Hand editieren. Die Länge der hier eingetragenen Domains ist irrelevant, das einzige Problem ist z.Zt. der Transport von so vielen Domains von der Weboberfläche in diese Datei. Da wir hier auf eine fundamentale Systembeschränkung gestoßen sind sehe ich leider keine kurzfristige Besserung. Langfristig wird sich Pi-hole komplett von PHP trennen (alles wird dynamisch auf der Client Seite) und in diesem Zuge löst sich Dein Problem vermutlich von selbst. Aber wie die Zeitplanung da aussieht ... ob das noch was in 2018 wird ... keine Ahnung.

Händisch geht auch =) insofern, kein Stress, alles gut =)