Auf den ersten Blick klingt es für mich so, als würde Ihr SQL Server Management Studio eine Verbindung über eine andere Netzwerkbibliothek wie Named Pipes herstellen, während der sqlcmd-Client versucht, eine Verbindung über TCP herzustellen, und der Server dort nicht lauscht (oder vielleicht auf ein Nicht-Standard-Port). Aus diesem Grund erhalten Sie im letzteren Fall den TCP-Fehler.