Un index sur une table de la taille que vous avez mentionnée devrait généralement pouvoir être supprimé assez rapidement (et certainement plus rapidement que 3+ minutes). Il me semble que la table/l'index était en cours d'utilisation et ne pouvait donc pas être supprimé.
Vous pouvez le confirmer en interrogeant le pg_stat_activity
table et en recherchant une activité impliquant la table sur laquelle vous avez créé l'index.