Δεν τον αφήνει σε χλωρό κλαδί.

σημαίνει

Τον ενοχλεί διαρκώς, δεν τον αφήνει ήσυχο ούτε στιγμή.