Je demanderais tout d'abord pourquoi vous avez une colonne varchar qui doit être traitée comme numérique, mais tant pis.
Vous pouvez utiliser le extra
méthode queryset pour convertir votre chaîne :
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])