Cela semble être un problème lié à RDS, où après quelques minutes, j'ai vu qu'un correctif était appliqué à RDS via les journaux d'événements. Une fois le correctif appliqué, exécutez la alter extension postgis update
la commande a réussi à mettre à niveau l'extension PostGIS. Fermeture de cette question pour l'instant.