Ich denke, Sie brauchen nur COUNT(DISTINCT post_id) FROM votes .
Siehe Abschnitt „4.2.7. Aggregierte Ausdrücke“ in https://www.postgresql.org/docs/current/static/sql-expressions.html.
EDIT:Korrigierte meinen Flüchtigkeitsfehler gemäß Erwins Kommentar.