Aus meiner bisherigen Suche (obwohl ich vielleicht etwas übersehen habe) muss ich Devart zustimmen, dass Sie UDF-Funktionen nicht debuggen können.
Ein zusätzlicher Ratschlag ist die Verwendung von stderr zum Debuggen. Ich habe etwas ziemlich Einfaches entwickelt, mit dem man arbeiten kann:
void udf_debug( char *msg, ... ) {
#ifdef DEBUG
va_list ap;
va_start(ap, msg);
vfprintf(stderr, msg, ap);
va_end(ap);
fflush(stderr);
#endif
}