Malheureusement, ce que vous demandez de faire n'est pas possible avec Eloquent.
La requête de chargement hâtif est entièrement distincte de la requête initiale, de sorte que les valeurs récupérées ne sont plus disponibles.
Vos options sont soit de faire une jointure dans votre contrainte (que vous avez indiquée pourrait ne pas être performante), soit de charger tous les modèles associés, puis de trier/filtrer ceux qui utilisent PHP à la place.