J'ai rencontré ce problème avec un conteneur debian. Ce qui l'a résolu, c'est d'installer chaque paquet avec des commandes distinctes. Donc au lieu de
RUN apt-get install -y python-pip libmysqlclient-dev
faire
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev