Login en SSH toma mucho tiempo

Bueno, el problema ahora es que al hacer un ssh remoto en servidor debian lenny toma mucho tiempo en pedir el password del usuario (quizá algunos 15 segundos de pausa o_O )

Aclaro que realice una instalación hace poco en otra maquina y el problema no estaba, asi que no tengo la mas pálida idea de lo que lo puede causar, pero googleando di con una solución que todavia no me convence mucho...

El tema es que debemos agregar la siguiente linea al archivo /etc/ssh/sshd_config en el servidor

UseDNS no

Aclaro, no se que problema de seguridad acarrea hacer esto, si lo saben comenten!