En lisant https://hub.docker.com/_/postgres/, la section "Étendre cette image" explique que tout .sql dans /docker-entrypoint-initdb.d sera exécuté après la construction.
J'avais juste besoin de changer mon Dockerfile.db en :
FROM postgres
ADD ./devops/db/dummy_dump.sql /docker-entrypoint-initdb.d
Et ça marche !