Vous n'avez jamais affecté votre chaîne de connexion à l'objet de connexion, tout comme l'erreur le dit.
Insérez une ligne définissant la chaîne de connexion avant con.open.
Con.connectionstring = connection
Con.Open()
Ou mieux encore, modifiez votre instruction using comme suit
Dim Connection As String = "Data Source=.\SQLEXPRESS;AttachDbFilename=G:\VB Project\Library Catalog System\Library Catalog System\library.mdf;Integrated
Security=True;Connect Timeout=30;User Instance=True"
Using Con As New SqlConnection(connection)
