吴芮是楚考烈王司马吴申的儿子，吴申因谏得罪，被谪鄱阳，吴芮就出生于鄱阳。
少年时，因散兵游勇四处抢劫乡里，吴芮组织家中奴仆抗击流寇，深得乡亲爱戴；
十八岁时，他已经统制一万七千多兵马，分布在鄱阳、余干、浮梁的各处要道，护卫一方；
二十岁时，他被推举为番县县令，在鄱阳湖流域行仁政发展