根据历史记载，刘裕家族的灭亡是由其子刘义隆（元嘉帝）的统治者萧道成完成的。以下是具体分析：

刘裕家族被灭的直接原因

刘裕在建立宋朝后，为巩固政权，于420年诛杀了东晋的最后两位皇帝：

晋安帝司马义隆（419年）：刘裕以“昌明之后有二帝”的谶语为名，派遣王韶之毒杀晋安帝，随后迎司马德文为帝。 - 晋恭帝司马义恭（420年）：刘裕在晋安帝被杀后，继续执政至晋恭帝时期，最终将其废黜并处决。

后续发展

刘义隆去世后，其子刘昱继位。刘昱虽诛杀奸臣，但政权已失去平衡。422年，掌握军权的萧道成发动政变，废黜刘昱，建立萧宋，刘裕家族正式灭亡。

历史背景与反思

刘裕家族的灭亡是南北朝时期政权更迭频繁、皇权与权臣斗争激烈的缩影。尽管刘裕本人通过改革巩固了政权，但其子孙因权力斗争和荒废朝政，最终未能延续基业。

综上， 萧道成是刘裕家族被灭的直接责任人，而其子刘昱的统治为萧道成提供了契机。