东汉灵帝中平三年（公元186年），江夏郡发生兵变，叛军头目赵慈率部侵扰邻郡，杀害了南阳太守秦颉。汉灵帝获悉后，马上调派庐江太守羊续到南阳去担任太守，负责平定叛乱。

羊续接到任命后，带了书童，换了便服，一路私访来到南阳。他上任后，立即和荆州刺史王敏一起迅速平定了叛乱。

当时，南阳的豪门大族崇尚奢侈靡丽的生活，南阳郡属下的贪官污吏也不少。羊续在私访时察访到不少劣迹，叛乱平定后，他马上整顿吏治，惩办了几个贪赃枉法的官员，受到南阳百姓的拥戴，南阳的局势很快安定下来。

羊续又决心扭转奢侈浪费的不良社会风气，他克己奉公，清廉自守，以身作则。他每天吃的是粗茶淡饭，穿的是旧的官服，出门用的马车也十分破旧。南阳的官员见太守如此节俭，也纷纷收敛，不敢大肆浪费，南阳的风气很快就好了起来。

有一天，南阳府丞（太守的副职）得到了几尾活鲤鱼，他知道羊续平时的生活很俭朴，便特地给羊续送了一尾。羊续知道府丞是一片好心，没有当场拒绝，便把鱼收了下来。但他知道，如果别人知道自己收下了府丞的鱼，就会送来别的东西。他想了一想，便把鱼缚在一根绳子上，挂在庭中。

过了几天，府丞又给羊续送来一条活鱼。羊续便拿出上次送的那条已风干的鱼说：“你看，你上次送给我的鱼我还没吃呢，怎么好意思再收你的鱼呢？”

府丞当然明白羊续的意思，便红着脸走了。

后来，“羊续悬鱼”这一成语，用来形容居官清廉，不受贿赂。

成语出自：《后汉书·羊续传》