晋朝的时候，晋陵太守刘耽为官非常清廉，因此家境很贫寒。他死后，他的妻子任氏和儿子刘惔只好寄寓京口，住在极其简陋的草屋中。

刘惔年纪还小的时候，就一边读书识字，一边帮母亲编织草鞋维持生计。他虽然生活很苦，但很要强，富裕人家送来的东西都被他谢绝了。

刘惔青年时，就因学识渊博、品格端正而受到当时士大夫阶层的器重。人们把他与当代博学多才的名士袁羊和范汪相比。刘惔听后非常高兴，而他的母亲任氏却说：

“虽然别人把你捧得很高，但你要有自知之明，不要接受过高的评价。”

从此，刘惔更注重自己的学问修养，他的名气也一天比一天响。晋明帝对刘惔的人品和学识非常欣赏，就把女儿庐陵公主嫁给了他。

刘惔成婚后，仍保持自己原有的性格，不愿与达官贵人和一些不学无术的人交往。他善于辩论，讲起话来头头是道，因此被明帝的弟弟司马昱（即后来的晋简文帝）尊为上宾。

一次，著名学者孙盛写了一篇《易象妙于见形论》，高深莫测。孙盛夸口说此文无人能驳得倒。司马昱不信，便叫思路敏捷、善于言辞的殷浩去驳，果然没有驳倒。司马昱还不服气，说：“如果刘惔来，一定可以驳倒他。”

刘惔被邀请而来。孙盛平时也很敬佩刘惔，两人一谈话，刘惔谈锋犀利，分析精辟，句句击中要害。很快，孙盛便无话可说了。在座的宾客无不对刘惔渊博的学识赞不绝口。

从此，刘惔更加出名了，但也更加自负，只有人品极高，学问极好的人，他才愿意与之交往。

刘惔信奉道家学说，主张清静无为。在他担任丹杨尹的时候，衙门里清清静静，没有嘈嘈杂杂的声音。他的住宅更不像是地方官的官邸，而更像是隐士的幽居，从来没有乱七八糟的人到这儿来，真是门无杂宾。后来，刘惔死于任上，年仅36岁。后来，人们就用“门无杂宾”这个成语，来形容交友慎重。

成语出自：《晋书·刘惔传》