Oui, votre chaîne de connexion doit être définie dans le <connectionStrings>
section du web.config précisément pour cette raison - afin que vous puissiez facilement modifier le paramètre pour qu'il pointe vers un environnement de base de données différent lors du déploiement de votre application dans un environnement différent, sans avoir à recompiler votre code.