Wenn Du Deine FritzBox an einem DualStack-Anschluss betreibst, solltest Du auch die IPv6-Adresse Deines RPi als lokalen DNS-Server konfigurieren.
Da Dein ISP der FB ggf. regelmässig ein neues, öffentliches IPv6-Präfix zuweist, solltest Du außerdem in der FB ein ULA-Präfix setzen und entsprechend die ULA-Adresse Deines RPis in der FB konfigurieren. So sollte die in der FB hinterlegte IPv6-Adresse Deines RPis konstant bleiben können.
Einen guten Ausgangspunkt für die IPv4/IPv6-Konfiguration einer FB findest Du z.B. unter Pi-Hole und FritzBox Setup Anleitung - #128 by Gert_Chlupaty.
Für DHCP ist außerdem zu beachten, dass Clients erst mit der Erneuerung Ihres DHCP-Leases Pi-holes IPv4-Adresse als DNS-Server verwenden.
Das kannst Du je nach Client z.B. über einen Neustart des Clients erreichen oder auf Smartphones z.B. über WiFi an/aus.
Ohne eine forcierte DHCP-Neuanmeldung würden Clients von sich aus erst nach Ablauf der DHCP-Lease-Gültigkeit (spätestens) den neuen DNS-Server verwenden. Bei der FB liegt diese Gültigkeit standardmässig bei 10 Tagen.