J'ai rencontré cette erreur lorsque j'ai essayé d'installer des rails par gem sur CentOS 6.3.
Après avoir cherché un peu sur Google, j'ai trouvé une solution rapide :installer le package ruby-devel.
sudo yum install ruby-devel
Après cela, tout a bien fonctionné.
