D'après ma recherche actuelle jusqu'à présent (même si j'ai peut-être manqué quelque chose), je dois convenir avec Devart que vous ne pouvez pas déboguer les fonctions UDF.
Un conseil supplémentaire à vous donner est d'utiliser le stderr pour le débogage. J'ai créé quelque chose d'assez simple à utiliser :
void udf_debug( char *msg, ... ) {
#ifdef DEBUG
va_list ap;
va_start(ap, msg);
vfprintf(stderr, msg, ap);
va_end(ap);
fflush(stderr);
#endif
}