Dein Debug Log sieht soweit unauffällig aus.
Nur zu IPv6 habe ich eine Anmerkung:
Dein Netzwerk verfügt zwar nicht über öffentlichen IPv6-Zugriff, Clients können aber sehr wohl mit einer link-lokalen IPv6-Adresse arbeiten (aus dem Bereich fe80::/10).
Dein Router könnte in einem solchen Fall seine eigene IPv6-Adresse als DNS-Server verteilen, was IPv6-Clients erlauben würde, Pi-hole zu umgehen.
Du solltest die Konfiguration Deines Routers diesbezüglich überprüfen.
Bei der Gelegenheit solltest Du auch prüfen, ob Du eventuell im Router noch eine ältere, nun ggf. ungültige IPv6-Adresse von Pi-hole hinterlegt hast. Clients oder Client-Software, die IPv6 bevorzugen, würden dann zunächst erfolglos die Auflösung über diese veraltete IPv6 versuchen, bevor sie auf IPv4 zurückfallen, was Deine Beobachtung erklären könnte.
Ich sehe außerdem, dass Du die DNS-Server von digitalcourage.de und censurfridns.dk nutzt. Zumindest der erstere ist nach meinen eigenen Erfahrungen bisweilen temporär überlastet, was ebenfalls sporadische Verzögerungen erklären könnte.
Du könntest das bei Deiner nächsten Beobachtung von Verzögerungen überprüfen, indem Du die Domäne der langsamer aufgebauten Webseite direkt über eine der IPs dieser DNS-Server auflöst, z.B.
nslookup www.slowdomain.com 46.182.19.48
www.slowdomain.com ist natürlich durch die entsprechende Domäne zu ersetzen.
Außerdem können die entsprechenden Auszüge aus Pi-holes Logs hier hilfreich sein:
grep www.slowdomain.com /var/log/pihole.log