Durchaus letzteres. Es kann den Wert direkt aus dem PK-Index abrufen, während ersteres mit ziemlicher Sicherheit einen Tabellenscan erfordert (es sei denn, jede einzelne Spalte ist Teil eines Indexes; und selbst dann muss es Werte aus allen Indizes abrufen). Je nachdem, wie Sie sich mit der DB verbinden, wird eine große Menge an Daten übertragen, nur um eine Zählung zu erhalten.
explain
kann hier helfen. In diesem Fall wird Ihnen mitgeteilt, dass die Auswahl wegoptimiert ist.