Das ist richtig gedacht.
Allerdings liefert ein von Pi-hole befragter DNS-Server zusammen mit der IP-Adresse für eine angefragte Domäne auch eine Gültigkeitsdauer (time-to-live oder TTL).
Nach Ablauf dieser Gültigkeitsdauer entfernt Pi-hole die zugehörige IP-Adresse automatisch aus seinem DNS-Cache. Nebenbei bemerkt: Betriebssysteme und Browser machen das nach demselben Muster.
Für unbound lässt sich ein Prefetching konfigurieren, dass auf Kosten von leicht erhöhtem Datenaufkommen und Last die am häufigsten angefragten Domänen vor Ablauf der TTL automatisch erneut abfragt.
Damit dieser Mechanismus möglichst gut funktioniert, kann man theoretisch das Caching in Pi-hole abschalten, damit unbound eine bessere Chance hat, die beliebtesten Domänen für das Prefetching zu lernen
Prefetching entfällt aber nicht einfach, weil Pi-hole auch einen Cache nutzt. unbound wird sich auch mit Pi-holes Cache ein Bild von den beliebtesten Domänen machen, nur etwas langsamer.
Pi-holes DNS-Cache ist im Zweifel auch schneller als der von unbound, so dass es letztlich auch auf das Nutzungsverhalten ankommt, ob und wie stark man vom Prefetching profitiert. Über solche und andere damit verbundenen Unterschiede sowie Vorteile und Nachteile wird hier in den Foren des öfteren diskutiert.
Im allgemeinen wird man client-seitig aber kaum einen Unterschied zwischen beiden Varianten bemerken - auch deren Cache-Verhalten wirkt sich ja auf die DNS-Anfragen aus, die Pi-hole und unbound zu sehen bekommen.
Mit der Standard-Konfiguration machst Du also nichts falsch.
Wenn Du Spass am Testen hast, dann probier aus, was Dir am besten gefällt. 