MYSQL wählt zufällig aus jeder der Kategorien aus

Wenn Sie zwei Kategorien haben (wie in Ihrer Frage), ist der einfachste Weg in MySQL die Verwendung von union all :

(select * from t_shop where category = 1 order by rand() limit 5)
union all
(select * from t_shop where category = 2 order by rand() limit 5)