C'est ce qui a résolu le problème pour moi. Sur le tableau de bord RDS, examinez le groupe de sécurité de votre instance. Cliquez dessus et cela vous mènera à la page du groupe de sécurité.
Bien qu'il dise "Tout le trafic" pour le clic entrant et sortant, cliquez sur Modifier et assurez-vous que la source indique Mon adresse IP. Je ne recommanderais pas d'utiliser toutes les adresses IP car cela l'ouvrirait à n'importe qui sur Internet. Si vous n'avez pas d'adresse IP statique, assurez-vous d'actualiser ce champ une fois que la connexion cesse de fonctionner.
Après cela, j'ai pu me connecter aux instances AWS RDS T2.