Cette erreur implique que vous essayez d'ajouter un PostgreSQL base de données plutôt qu'un PostGIS base de données. Vous devez ajouter l'extension PostGIS à la base de données avec cette commande :
psql -d yourdatabase -c "CREATE EXTENSION postgis;"
psql -d yourdatabase -c "CREATE EXTENSION postgis_topology;"
Cela vous permettra ensuite de stocker des géométries (et des géographies) dans vos tables que GeoServer pourra ensuite afficher sous forme de couches cartographiques.