Ich bin auf diesen Fehler gestoßen, als ich versucht habe, Rails by gem unter CentOS 6.3 zu installieren.
Nachdem ich ein wenig gegoogelt hatte, fand ich eine schnelle Lösung:die Installation des Pakets ruby-devel.
sudo yum install ruby-devel
Danach funktionierte alles einwandfrei.