Ok, also habe ich die Lösung für mein Problem gefunden.
Zuerst habe ich das pg gem mit Homebrew installiert, wie hier erklärt :
brew install postgres
Dann konnte ich den Rails-Server nicht starten, also folgte ich dieser Lösung und lief:
pg_ctl -D /usr/local/var/postgres -l /usr/local/var/postgres/server.log start
Jetzt funktioniert alles.