Ich denke, Sie brauchen nur COUNT(DISTINCT post_id) FROM votes
.
Siehe Abschnitt „4.2.7. Aggregierte Ausdrücke“ in http://www.postgresql.org/docs/current/static/sql-expressions.html.
EDIT:Korrigierte meinen Flüchtigkeitsfehler gemäß Erwins Kommentar.