Не, lua_gettop число дает.
Есть API
PHP код:
int lua_isnil (lua_State *L, int index);
Который отдает 1 если элемент по индексу index и есть этот самый nil. А верх стека как раз и можно получить через lua_gettop, то есть
PHP код:
if (lua_isnil(ALua, lua_gettop(ALua))
{
//Нет функции
}
else
{
//Есть функции
}