aus irgendeinem Grund (vielleicht weil ich rubygems 1.3.7 verwende oder mysql-2.8.1 installiere)
sudo gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config
hat bei mir nicht funktioniert, also habe ich nach einem Blick auf gems/mysql-2.8.1/ext/mysql_api/extconf.rb herausgefunden, dass die extconf.rb im PATH nach mysql_config sucht, also habe ich es versucht
export PATH=$PATH:/usr/local/mysql/bin
sudo gem install mysql
und hat den Job gemacht