Je pense que vous avez juste besoin de COUNT(DISTINCT post_id) FROM votes
.
Voir la section "4.2.7. Aggregate Expressions" dans http://www.postgresql.org/docs/current/static/sql-expressions.html.
EDIT :Corrigé mon erreur d'inattention par le commentaire d'Erwin.