Nach updaten auf Pihole v5, zeigt das Dashboard nichts an

Conan179 · May 15, 2020, 8:34pm

https://docs.pi-hole.net/ftldns/compile/

Schultze · May 15, 2020, 8:41pm

Ich habe hier nettle-3.4 aus Debian Buster. Hast Du das neuere installiert?

Conan179 · May 15, 2020, 8:56pm

Da nettle nur für die DNSSEC funktion wichtig ist, ist es egal, welche version ich nutzte.

Schultze · May 16, 2020, 5:31pm

Also hat niemand eine Idee, warum die gravity.db nicht aktualisiert wird?
Schade, das PiHole lief so gut in meinem Netz und jetzt ist es vorbei damit?

Schultze

yubiuser · May 16, 2020, 5:35pm

Wie sind denn die Dateisystemberechtigungen für deine gravity.db?

nanopi@nanopi:~$ ls -l /etc/pihole/gravity.db 
-rw-rw-r-- 1 pihole pihole 25993216 Mai 16 17:03 /etc/pihole/gravity.db

Ansonsten kannst du noch in /etc/pihole/pihole-FTL.conf DEBUG_DATABASE=true setzen und mit
tail -f /var/log/pihole-FTL.log schauen, ob und welche Fehlermeldungen es gibt.

Conan179 · May 16, 2020, 5:48pm

@ Schultze Pushen ist keine feine art.
root@Qnap-NAS:~# ls -l /etc/pihole/gravity.db
-rw-rw-rw- 1 pihole pihole 6418432 Mai 14 19:17 /etc/pihole/gravity.db

@yubiuser
Ich hab es eingetragen, im log steht aber nur das:
May 16 19:56:30 dnsmasq[25249]: read /etc/hosts - 7 addresses
May 16 19:56:30 dnsmasq[25249]: read /etc/pihole/local.list - 4 addresses
May 16 19:56:30 dnsmasq[25249]: read /etc/pihole/black.list - 0 addresses
May 16 19:56:30 dnsmasq[25249]: bad address at /etc/pihole/gravity.list line 2
.
.
.
.
May 16 19:58:31 dnsmasq[25249]: bad address at /etc/pihole/gravity.list line 131534
May 16 19:58:31 dnsmasq[25249]: read /etc/pihole/gravity.list - 1 addresses

Aber das mit mit "bad address at /etc/pihole/gravity.list line xxxx"
Hatte ich auch drin stehen, wen nicht DEBUG_DATABASE=true in der /etc/pihole/pihole-FTL.conf stant.
Der rest der Meldungen sind dns meldungen.

Schultze · May 16, 2020, 6:51pm

yubiuser:

Wie sind denn die Dateisystemberechtigungen für deine gravity.db?
nanopi@nanopi:~$ ls -l /etc/pihole/gravity.db 
-rw-rw-r-- 1 pihole pihole 25993216 Mai 16 17:03 /etc/pihole/gravity.db
Ansonsten kannst du noch in /etc/pihole/pihole-FTL.conf DEBUG_DATABASE=true setzen und mit
tail -f /var/log/pihole-FTL.log schauen, ob und welche Fehlermeldungen es gibt.

root@dalmore:/etc/pihole# ll gravity.db
-rw-rw-rw- 1 pihole pihole 0 May 15 19:01 gravity.db

In der Logdatei laufen nur Einträge dieser Art auf:

[2020-05-16 20:48:01.055 972] dbquery: "SELECT id FROM network WHERE hwaddr = '90:59:af:d3:c6:d3';"
[2020-05-16 20:48:01.056 972] ---> Result 3 (int)
[2020-05-16 20:48:01.059 972] dbquery: "UPDATE network SET lastQuery = MAX(lastQuery, 1589654830) WHERE id = 3;"
[2020-05-16 20:48:01.060 972] ---> OK
[2020-05-16 20:48:01.060 972] dbquery: "UPDATE network SET numQueries = numQueries + 1 WHERE id = 3;"
[2020-05-16 20:48:01.063 972] ---> OK
[2020-05-16 20:48:01.064 972] dbquery: "UPDATE network SET name = ? WHERE id = ?;" with arguments 1 = "raumfeld.whisky.at.home" and 2 = 3
[2020-05-16 20:48:01.067 972] dbquery: "INSERT OR REPLACE INTO network_addresses (network_id,ip,lastSeen) VALUES (3,'192.168.42.161',(cast(strftime('%s', 'now') as int)));"
[2020-05-16 20:48:01.068 972] ---> OK
[2020-05-16 20:48:01.069 972] dbquery: "SELECT network_id FROM network_addresses WHERE ip = '127.0.0.1' AND lastSeen > (cast(strftime('%s', 'now') as int)-86400) ORDER BY lastSeen DESC LIMIT 1;"
[2020-05-16 20:48:01.073 972] ---> Result 12 (int)
[2020-05-16 20:48:01.074 972] dbquery: "UPDATE network SET lastQuery = MAX(lastQuery, 1589654845) WHERE id = 12;"
[2020-05-16 20:48:01.075 972] ---> OK
[2020-05-16 20:48:01.078 972] dbquery: "UPDATE network SET numQueries = numQueries + 83 WHERE id = 12;"
[2020-05-16 20:48:01.079 972] ---> OK
[2020-05-16 20:48:01.080 972] dbquery: "UPDATE network SET name = ? WHERE id = ?;" with arguments 1 = "localhost" and 2 = 12
[2020-05-16 20:48:01.084 972] dbquery: "INSERT OR REPLACE INTO network_addresses (network_id,ip,lastSeen) VALUES (12,'127.0.0.1',(cast(strftime('%s', 'now') as int)));"
[2020-05-16 20:48:01.085 972] ---> OK
[2020-05-16 20:48:01.085 972] dbquery: "END TRANSACTION"
[2020-05-16 20:48:01.347 972] ---> OK

yubiuser · May 16, 2020, 6:52pm

Das verwundert mich sehr, denn eigentlich wird in pihole v5.0 die gravity.list gar nicht mehr genutzt, sondern eben gravity.db

yubiuser · May 16, 2020, 6:55pm

Hier ist die gravity.db noch genau 0 Byte groß - da hat also noch nie irgendein Process reingeschrieben.
Wie war denn die Ausgabe von pihole -g - findet er da überhaupt adlists, die er versucht in die Gravity reinzuschreiben?

Schultze · May 16, 2020, 7:03pm

Genau. die habe ich mittels touch erzeugt. Vorher war das Dashboard leer, mit dieser leeren .db klappt die Anzeige.

root@dalmore:/etc/pihole# pihole -g
[i] Pi-hole blocking is enabled
[i] Neutrino emissions detected...
[✓] Pulling blocklist source list into range

[i] Target: raw.githubusercontent.com (list.txt)
[✓] Status: Retrieval successful

[i] Target: raw.githubusercontent.com (list.txt)
[✓] Status: Retrieval successful
.
.
.
[✓] Consolidating blocklists
[✓] Extracting domains from blocklists
[i] Number of domains being pulled in by gravity: 1574375
[✓] Removing duplicate domains
[i] Number of unique domains trapped in the Event Horizon: 1236868
[i] Number of whitelisted domains: 0
[i] Number of blacklisted domains: 23
[i] Number of regex filters: 0
[✓] Parsing domains into hosts format
[✓] Cleaning up stray matter

[✓] Force-reloading DNS service
[✓] DNS service is running
[✓] Pi-hole blocking is Enabled

Und schwupps, ist die gravity.list wieder neu!
root@dalmore:/etc/pihole# ll gravity.*
-rw-rw-rw- 1 pihole pihole 0 May 15 19:01 gravity.db
-rw-r--r-- 1 root root 26985978 May 16 21:01 gravity.list

yubiuser · May 16, 2020, 7:06pm

Bist du sicher, dass du komplett auf v5.0 bist?
Was zeigt denn pihole -v an?

Conan179 · May 16, 2020, 7:11pm

root@Qnap-NAS:~# pihole -v
Pi-hole version is v5.0 (Latest: v5.0)
AdminLTE version is v5.0 (Latest: v5.0)
FTL version is v5.0 (Latest: v5.0)

Schultze · May 16, 2020, 7:13pm

root@dalmore:/etc/pihole# pihole -v
Pi-hole version is v5.0 (Latest: v5.0)
AdminLTE version is v5.0 (Latest: v5.0)
FTL version is v5.0 (Latest: v5.0)

yubiuser · May 16, 2020, 7:20pm

Ich bin etwas verwirrt, mit zwei Personen mit ähnlichen Problemen....

Meine Vermutung

@Conan179 bei dir ist mein compilieren etwas schief gegangen, denn

FTL versucht noch wie in v4 auf black.list und gravity.list zuzugreifen. Da kann ich dir leider nicht weiterhelfen, da ich mich damit nicht auskenne.

@Schultze kann es sein, dass nur ein Teil der Skript nicht auf v5 geupdated wurde. Z.b. gravity.sh, welches in v5 ja eigentlich eine gravity.db statt gravity.list erzeugen sollte. Quick & Dirty kannst du mal probieren einfach händisch dieses Skript runterzuladen und das auf deinem pihole damit ersetzen. Dann einfach nochmal pihole -g ausführen. Vielleicht läuft es dann. Allerdings ist die Wahrscheinlichkeit hoch, dass du dann sowohl alte als auch neue Skripte auf deinem Pi hast. Das kann an anderer Stelle zu Problemen führen.

Conan179 · May 16, 2020, 7:28pm

Ich hab es insgesamt 4 mal neu kompliert.
Wen es beim komplieren einen Fehlergibt, dan kommt er immer wieder vor.
@ yubiuser
Wo sollte die gravity.sh liegen?
Ich hab eine kleine vermutung, der pihole -up bricht ja ab, weil er den ftl dienst nicht starten kann, das er nicht die richtigen scriypts dort hin pact, wo sie sollen und so wird die gravity immer noch per v4 verfarhen akt.

yubiuser · May 16, 2020, 7:29pm

nanopi@nanopi:~$ ls -l /etc/.pihole/
total 124
drwxr-xr-x 6 root root  4096 Mai 15 19:53  advanced
drwxr-xr-x 2 root root  4096 Mai 15 19:53 'automated install'
-rwxr-xr-x 1 root root    20 Mai 14 20:18  autotest
drwxr-xr-x 2 root root  4096 Mai 15 19:53 'block hulu ads'
-rw-r--r-- 1 root root  2489 Mai 14 20:18  CONTRIBUTING.md
-rwxr-xr-x 1 root root 29096 Mai 15 19:53  gravity.sh
-rw-r--r-- 1 root root 14204 Mai 14 20:18  LICENSE
drwxr-xr-x 2 root root  4096 Mai 15 19:53  manpages
-rwxr-xr-x 1 root root 15135 Mai 15 19:53  pihole
-rw-r--r-- 1 root root 17213 Mai 15 19:53  README.md
-rw-r--r-- 1 root root   105 Mai 14 20:18  requirements.txt
-rw-r--r-- 1 root root   107 Mai 14 20:18  setup.py
drwxr-xr-x 2 root root  4096 Mai 15 19:53  test
-rw-r--r-- 1 root root   384 Mai 15 19:53  tox.ini

Conan179 · May 16, 2020, 7:30pm

root@Qnap-NAS:~# ls -l /etc/.pihole/
insgesamt 124
drwxr-xr-x 6 root root 4096 Mai 13 09:22 advanced
drwxr-xr-x 2 root root 4096 Mai 13 09:22 'automated install'
-rwxr-xr-x 1 root root 20 Feb 25 13:56 autotest
drwxr-xr-x 2 root root 4096 Feb 25 13:56 'block hulu ads'
-rw-r--r-- 1 root root 2489 Feb 25 13:56 CONTRIBUTING.md
-rwxr-xr-x 1 root root 29096 Mai 13 09:22 gravity.sh
-rw-r--r-- 1 root root 14204 Feb 25 13:56 LICENSE
drwxr-xr-x 2 root root 4096 Mai 13 09:22 manpages
-rwxr-xr-x 1 root root 15135 Mai 13 09:22 pihole
-rw-r--r-- 1 root root 17213 Mai 13 09:22 README.md
-rw-r--r-- 1 root root 105 Feb 25 13:56 requirements.txt
-rw-r--r-- 1 root root 107 Feb 25 13:56 setup.py
drwxr-xr-x 2 root root 4096 Mai 13 09:22 test
-rw-r--r-- 1 root root 384 Feb 25 13:56 tox.ini

yubiuser · May 16, 2020, 7:32pm

Und wenn du mal gravity.sh direkt aus diesem Ordner heraus ausführst?

nanopi@nanopi:~$ ls -la /usr/local/bin/
total 24
drwxr-xr-x  2 root root  4096 Mai 15 19:54 .
drwxr-xr-x 10 root root  4096 Jun 21  2019 ..
-rwxr-xr-x  1 root root 15135 Mai 15 19:54 pihole

Ist auch aktuell und auf v5?

Conan179 · May 16, 2020, 7:40pm

root@Qnap-NAS:~# /etc/.pihole/gravity.sh
[i] Neutrino emissions detected...
[✓] Pulling blocklist source list into range

[✓] Preparing new gravity database
[i] Target: https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts
[✓] Status: Retrieval successful
[i] Received 57739 domains

[i] Target: https://mirror1.malwaredomains.com/files/justdomains
[✓] Status: No changes detected
[i] Received 26858 domains

[i] Target: http://sysctl.org/cameleon/hosts
[✓] Status: No changes detected
[i] Received 20569 domains, 20569 domains invalid!
Sample of invalid domains:
- # Last updated : 2018-03-17
- 127.0.0.1 localhost
- 127.0.0.1 0.r.msn.com
- 127.0.0.1 0.start.bz
- 127.0.0.1 000dom.revenuedirect.com

[i] Target: https://s3.amazonaws.com/lists.disconnect.me/simple_tracking.txt
[✓] Status: No changes detected
[i] Received 38 domains, 3 domains invalid!
Sample of invalid domains:
- # Basic tracking list by Disconnect
- # License: GPLv3
- # Contact: support [at] disconnect.me

[i] Target: https://s3.amazonaws.com/lists.disconnect.me/simple_ad.txt
[✓] Status: No changes detected
[i] Received 2705 domains, 3 domains invalid!
Sample of invalid domains:
- # Ad filter list by Disconnect
- # License: GPLv3
- # Contact: support [at] disconnect.me

[i] Target: https://hosts-file.net/ad_servers.txt
[✗] Status: Not found
[✗] List download failed: using previously cached list
[i] Received 45747 domains, 45747 domains invalid!
Sample of invalid domains:
- # hpHosts - Ad and Tracking servers only
- #
- # The following are hosts in the hpHosts database with the ATS classification ONLY.
- # This file will NOT protect you against malicious domains
- #

[✓] Storing downloaded domains in new gravity database
[✓] Building tree
[✓] Swapping databases
[i] Number of gravity domains: 87334 (84892 unique domains)
[i] Number of exact blacklisted domains: 0
[i] Number of regex blacklist filters: 0
[i] Number of exact whitelisted domains: 1
[i] Number of regex whitelist filters: 0
[✓] Reloading DNS service
[✓] Cleaning up stray matter

[✓] DNS service is running
[✓] Pi-hole blocking is Enabled

direkt aufgerufen wird die gravity.db aktulisiert!

root@Qnap-NAS:~# ls -la /usr/local/bin/
insgesamt 512
drwxrwsr-x 2 root staff 4096 Mai 15 23:22 .
drwxrwsr-x 10 root staff 4096 Dez 24 00:43 ..
-rwxr-xr-x 1 root staff 79368 Mai 15 23:22 nettle-hash
-rwxr-xr-x 1 root staff 50796 Mai 15 23:22 nettle-lfib-stream
-rwxr-xr-x 1 root staff 81744 Mai 15 23:22 nettle-pbkdf2
-rwxr-xr-x 1 root staff 14655 Mär 12 14:32 pihole

Bucking_Horn · May 16, 2020, 7:41pm

Die Vermutung ist gut.
Das Erzeugen der gravity-Datenbank sollte ab Zeile 342 von /opt/pihole/gravity.sh beginnen.