Keine neue Listen möglich

Mein Pihole nimmt keine neue Blocklisten an, es kommt immer Liste wurde eingefügt aber Sie ist nicht vorhanden.
Auch mehrmals versucht immer kommt Meldung zugefügt.

Ich weiss nicht ob es an der Menge Listen liegt die ich nutze, zur Zeit sind 150 Listen drin.

Ich weiss zuviel hatte aber noch kein Book aufzuräumen.
Es läuft aber alles Top.

Mit freundlichen Grüßen

Dann gib uns mal mehr Infos. Kommt eine Fehlermeldung?
Gibt es Fehler in /var/log/pihole-FTL.log ?
Und erzeuge bitte einen debug token.

Dann gib uns mal mehr Infos. Kommt eine Fehlermeldung?
Gibt es Fehler in /var/log/pihole-FTL.log ?
Und erzeuge bitte einen debug token.

Also bin da nicht so fit, deshalb erstmal die Infos die über die Oberfläche kommen.

Wenn ich eine Liste einfüge kommt die grüne Meldung erfolgreich eingefügt, sie ist aber nicht vorhanden.
Füge ich die Liste ein zweites mal ein kommt wieder eingefügt, aber sie ist nicht vorhanden.

Füge ich eine Liste hinzu die schon vorhanden ist kommt auch die grüne Meldung eingefügt, obwohl da sonst immer eine rote Fehlermeldung kam.

Wenn ich eine vorhandene Liste lösche sind auch nur noch 149 Listen von den 150 vorhanden.
Das seltsame ist diese gelöschte Liste kann ich wieder einfügen und es sind wieder die ursprünglichen 150 Listen.

Pihole mit -g läuft mit den vorhandenen Listen sauber durch.
Kann man Listen manuell hinzufügen?

Mehr muss ich erstmal sehen.

Sorry hat sich erledigt.

Die Listen die ich einfügen wollte sind schon vorhanden.
Mich hat es nur irretiert das immer die grüne Erfolgsmeldung kam aber die Listen hinten nicht drangehangen haben.
Es kam sonst immer eine Rote Fehlermeldung, so das mir klar war die Listen sind vorhanden.

Sorry

150 Listen - WTF - hast du bei der Ausgabe mal geschaut, ob überhaupt alle unterstützt werden? Und wieviele Einträge hat dann deine Whitelist?

Ich persönlich bin sehr schnell vom Listensammeln weg, da viele Falscheinträge vorhanden sind. Momentan habe ich folgende Listen in Verwendung und fahre sehr gut damit:

http://malwaredomains.lehigh.edu/files/immortal_domains.txt
http://www.malwaredomainlist.com/hostslist/hosts.txt
https://gitlab.com/zerodot1/coinblockerlists/raw/master/list.txt
https://gitlab.com/zerodot1/coinblockerlists/raw/master/list_browser.txt
https://gitlab.com/zerodot1/coinblockerlists/raw/master/list_optional.txt
https://mirror.cedia.org.ec/malwaredomains/immortal_domains.txt
https://mirror1.malwaredomains.com/files/justdomains
https://raw.githubusercontent.com/dawsey21/lists/master/main-blacklist.txt
https://raw.githubusercontent.com/durablenapkin/scamblocklist/master/hosts.txt
https://raw.githubusercontent.com/hoshsadiq/adblock-nocoin-list/master/hosts.txt
https://raw.githubusercontent.com/matomo-org/referrer-spam-blacklist/master/spammers.txt
https://raw.githubusercontent.com/piwik/referrer-spam-blacklist/master/spammers.txt
https://raw.githubusercontent.com/ultimate-hosts-blacklist/antipopads/master/clean.list
https://raw.githubusercontent.com/yhonay/antipopads/master/hosts
https://raw.githubusercontent.com/yous/youslist/master/hosts.txt
https://www.malwaredomainlist.com/hostslist/hosts.txt
https://github.com/hoshsadiq/adblock-nocoin-list/raw/master/hosts.txt
https://raw.githubusercontent.com/FadeMind/hosts.extras/master/add.2o7Net/hosts
https://gitlab.com/quidsup/notrack-blocklists/raw/master/notrack-malware.txt
https://bitbucket.org/ethanr/dns-blacklists/raw/8575c9f96e5b4a1308f2f12394abd86d0927a4a0/bad_lists/Mandiant_APT1_Report_Appendix_D.txt
https://raw.githubusercontent.com/Spam404/lists/master/main-blacklist.txt
https://raw.githubusercontent.com/jerrimath/GalComm_Blocklist/master/Galcomm-Hosts-Formatted.txt
https://justdomains.github.io/blocklists/lists/nocoin-justdomains.txt
https://zerodot1.gitlab.io/CoinBlockerLists/list.txt
https://zerodot1.gitlab.io/CoinBlockerLists/list_browser.txt
https://zerodot1.gitlab.io/CoinBlockerLists/list_optional.txt
https://zerodot1.gitlab.io/CoinBlockerLists/hosts_browser
https://raw.githubusercontent.com/lassekongo83/Frellwits-filter-lists/master/Frellwits-Swedish-Hosts-File.txt
http://mirror1.malwaredomains.com/files/justdomains
https://raw.githubusercontent.com/jonschipp/mal-dnssearch/master/mandiant_apt1.dns
https://raw.githubusercontent.com/Sekhan/TheGreatWall/master/TheGreatWall.txt
https://gitlab.com/curben/urlhaus-filter/-/raw/master/urlhaus-filter-domains-online.txt
https://gitlab.com/curben/urlhaus-filter/-/raw/master/urlhaus-filter-domains.txt
https://gitlab.com/curben/urlhaus-filter/-/raw/master/urlhaus-filter-hosts-online.txt
https://raw.githubusercontent.com/KitsapCreator/pihole-blocklists/master/scam-spam.txt
http://www.joewein.net/dl/bl/dom-bl.txt
https://urlhaus.abuse.ch/downloads/hostfile/
http://malwaredomains.lehigh.edu/files/justdomains
https://raw.githubusercontent.com/austinheap/sophos-xg-block-lists/master/nocoin.txt
https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/ParsedBlacklists/Locky-Ransomware-C2-Domain-Blocklist.txt
https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/ParsedBlacklists/CryptoWall-Ransomware-C2-Domain-blocklist.txt
https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/ParsedBlacklists/TeslaCrypt-Ransomware-Payment-Sites-Domain-Blocklist.txt
https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/ParsedBlacklists/TorrentLocker-Ransomware-C2-Domain-Blocklist.txt
https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/ParsedBlacklists/TorrentLocker-Ransomware-Payment-Sites-Domain-Blocklist.txt
https://raw.githubusercontent.com/anudeepND/blacklist/master/CoinMiner.txt

Dazu verwende ich noch meine eigene Blockliste (bei Interesse zu finden auf meiner Seite)...

Ja ich weiss sind viele Listen, aber zur Zeit kein Bock mal aufzuräumen, auch wenig Zeit.

Einträge sind zur Zeit 5,8 Mio.
Alle Listen laufen durch und keine Fehler vorhanden.
Whitelist hat 135 Einträge.

Solange alles gut läuft bleibt es erstmal so.

Da muss ich jetzt aber mal fragen:
Geht das nicht zu lasten der Geschwindigkeit? Ich meine, JEDE DNS-Abfrage mit fast 6 Mio. Einträge vergleichen...Das dauert bestimmt, oder wie ist das?

Das wurde geändert weil sich Nutzer beschwert haben, dass sie einen Fehler beim Hinzufügen neuer Listen bekommen haben :slight_smile: Nun kommt keine Fehler mehr und das führt auch zu Problemen :slight_smile:

Nein, Pi-hole benutzt eine binäre Baum für den Vergleich, siehe diesen recht guten Artikel für eine relativ einfache Erklärung:

Der wichtige Teil aus der Einleitung ist:

Das Einfügen, Suchen und Löschen von Daten in B-Bäumen ist in amortisiert logarithmischer Zeit möglich.

Das heißt konkret 10 Domains brauchen EINEN Rechenschritt in der Suche. 100 Domains brauchen 2, eine Million Domains braucht lediglich 6 Sucheschritte. 6 Mio. Einträge brauchen 7 Schritte. Nicht 6 Millionen, wie eine naive Suche (jeden anschauen bis man einen findet). Das haben die Jungs von Pi-hole unglaublich gut umgesetzt.
Es gibt Nutzer mit sogar noch mehr, im Bereich 20 Millionen Domains auf einem Gerät wie Raspberry Pi Zero und alles läuft flott und absolut reibungslos. Großartige Software. Man kann immer etwas von denen lernen, wenn man sich den Programmcode anschaut. Es ist Kunst :slight_smile:

Also Geschwindigkeits verluste sind nicht festzustellen.

Aber die nicht Fehler Meldung hat mich ne Menge Zeit gekostet weil ich von einem Fehler ausgegangen bin.

Es sollte defenitiv eine Meldung kommen "Liste schon vorhanden"

Das wurde einmal diskutiert von @PromoFaux (auf Englisch). Da gab es ein Problem.

Was für ein Problem gibt es den an so einer Meldung?

Aha, das mit den B-Bäumen versteh ich jetzt so auffe Schnelle nicht. Macht aber nichts. Immerhin verstehe ich, das es großartige Software ist. Das reicht mir auch schon, ohne weitere Erläuterung. Ich vertrau den Codern, PiHole macht schon einen tollen Job!!!

Sie verwenden einen Datenbankbefehl, der die Liste einfach hinzufügt. Falls sie schon existiert wird sie einfach ignoriert. Dann liefert die Datenbank aber keine Meldung zurück, dass ist eine Eigenart von SQL.

Das Problem war wohl, dass man mehrere Listen nicht gleichzeitig hinzufügen konnte wenn doppelte dabei waren. Denn der erste doppelte Eintrag hat einen Fehler verursacht und die anderen wurden nicht mehr eingefügt.

Das kann man sicher umgehen indem man erstmal für alle hinzuzufügenden Einträge die Datenbank abfragt bevor man sie einfügt. Extra bewegliche Teile, die kaputt gehen können, nehme ich an. Ping an @DL6ER für mehr Feedback auf Deutsch

1 Like

Die Änderung war hier.

Grund für die Einführung ist bereits von Coro geschrieben worden.

Add

Ich habe irgendwann mal Entwürfe von PromoFaux gesehen, wo es eine Anzeige gab "4 von 30 (Listen oder Domains, an der Stelle bin ich mir nicht mehr sicher) hinzugefügt. Aber anscheinend ist das nie umgesetzt worden (oder doch? Ich füge Listen oder Domains immer nur einzeln hinzu...)

Vielleicht gab es da auch ein Missverständnis. Es wird jede Adresse als hinzugefügt gezählt, ob sie nun neu war oder nicht. Das stillt alles soweit.

Es gibt eine Anzeige im Sinne von "Added 5 out of 13 adlists", die kommt jedoch nur im Fehlerfall. D.h. insbesondere, dass die vor der von @yubiuser verlinkten Änderung regelmäßig angezeigt wurde wenn ein Eintrag bereits vorhanden war. Mit besagtem Nachteil,

Diesen Nachteil zu beheben erschien wichtiger als den Nutzer auf das Vorhandensein der hinzuzufügenden Liste hinzuweisen. Das wäre eine schöne Idee für einen externen Codebeitrag zu Pi-hole das umzusetzen :wink:

Relevant wären:

(hier eine entsprechende Nachricht mitgeben)

sowie

(hier die Info statt eines statischen Textes anzeigen)

Plus minus ein paar notwendiger Änderungen drum herum wäre das alles. Das sollte natürlich analog auf Clients, Domains und Groups übertragen werden.

Ah, super. Ist mir nur persönlich noch nicht begegnet :slight_smile:

Sollte auch nicht, das kann eigentlich nicht passieren. Nur wenn die Datenbank mittendrin ein größeres Problem bekommt (SD-Karte gezogen, o.Ä. :wink: ).