Juste pour ceux comme moi, qui google et essaie de trouver une solution pour laravel 5.4 . Vous pouvez utiliser -> opérateur pour extraire JSON, qui est égal à json_extract fonction ou à column->"$.key" syntaxe.
$users->orderBy('column->key', 'desc');
On dirait que ça serait très utile fin 2013 (sourire).