Ein Index für eine Tabelle der von Ihnen erwähnten Größe sollte im Allgemeinen ziemlich schnell gelöscht werden können (und sicherlich schneller als 3+ Minuten). Es klingt für mich so, als ob die Tabelle/der Index verwendet wurde und daher nicht gelöscht werden konnte.
Sie können dies bestätigen, indem Sie die pg_stat_activity
abfragen Tabelle und suchen nach Aktivitäten, die die Tabelle betreffen, für die Sie den Index erstellt haben.