Si vous avez deux catégories (comme dans votre question), le moyen le plus simple dans MySQL est d'utiliser union all :
(select * from t_shop where category = 1 order by rand() limit 5)
union all
(select * from t_shop where category = 2 order by rand() limit 5)
