Ich bin auf dieses Problem mit einem Debian-Container gestoßen. Was behoben wurde, war die Installation jedes Pakets mit separaten Befehlen. Also statt
RUN apt-get install -y python-pip libmysqlclient-dev
tun
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev