2002年11月15日，在中共十六届一中全会上，年满76岁的江泽民从中共中央总书记和中共中央政治局常委的最高权力位置上退休，由胡锦涛接任，但江泽民留任中国共产党中央军事委员会主席。
他在党内长期讨论的3个代表理论，也在中共十六大上被写入《中国共产党章程》。至2003年十届全国人大一次会议，胡锦涛接任国家主席。2004年3月14日，三个代表理论在十届全国人大二次会议上被正式写进中华人民共和国宪法。
2004年9月1日，78岁的江泽民致信中共中央政治局请求辞去中央军事委员会主席职务。9月19日，中共十六届四中全会同意了江泽民的辞呈，决定由胡锦涛接任。2005年3月8日，江泽民在十届全国人大三次会议决定接受其辞去中华人民共和国中央军事委员会主席一职后退休，随后由胡锦涛接任。
此后直至2007年，江泽民仍然担任了若干届全国人大主席团成员和中共十七大主席团主要成员，参与历次党的全国代表大会和全国人大会议。
退休以后，在重大集会场合，江泽民与其它领导人仍然同时出现，官方播报的排序仅次于时任总书记。2013年1月，江泽民向中共中央请求更改礼宾次序，将自己与退休老同志排在一起。
江泽民出席过的场合包括：汶川大地震追悼、2008年北京奥运会、国庆六十周年大会、玉树地震追悼、辛亥革命100周年纪念大会、庆祝中华人民共和国成立65周年音乐会、国庆65周年招待会、纪念中国人民抗日战争暨世界反法西斯战争胜利70周年大会、中国共产党第十九次全国代表大会开幕式和闭幕式、李鹏送别仪式和庆祝中华人民共和国成立70周年大会。自2019年2月14日起，江泽民超过邓小平成为最长寿的中国最高领导人。
江泽民曾执掌中共党、政、军系统共横跨15年，至中共十八大前仍籍在中央政治局的亲信来维持一定影响力。随着习近平在2012年底接班后，从地方到中央大力提携自己人，近年政坛上“江派”或江泽民代表的“上海帮”势力已逐渐消散。
自我平价做了三件大事
禁军队经商
退休后的江泽民大部分时间住在上海，其公寓在上海交通大学徐汇校区附近。每年4月清明节期间，江泽民都要回乡祭祖。
2009年4月23日，江泽民回到杭州他曾工作过的中国联合工程公司（原机械工业部第二设计研究院）视察，在和该单位干部职工座谈时，对自己担任中央领导期间的工作作了很简单的总结：“到了北京我干了这十几年也没有什么别的，大概三件事。一个，确立了社会主义市场经济。第二个，把邓小平理论列入党章。第三个，就是‘三个代表’。
江泽民说，“如果说还有一点成绩，就是军队一律不得经商，这个对军队的命运有很大的关系。因为我后来又干了1年零8个月，等于我在部队干了15年军委主席。还有1998年的抗洪也是很大的。但是这些都是次要的，我主要的就是三件事情。”他还曾去瘦西湖、泰山、中国国家博物馆、上海科技大学等地视察。
据了解，解放军自1980年代中后期开始，为补充预算拨款的缺额，开始参与商业活动，不过，各级单位在商业利益快速膨胀下，形成一个巨大关系网，影响到治军风纪。
江泽民认为，军队经商属于不良现象，会使军队的注意力偏离国防，加上军队经营企业产生的利益冲突，极大可能腐蚀军队保卫国家的意志。因此，江泽民于1998年7月宣布，军队和武警部队对所属单位办的各种经营性公司，必须认真进行清理，今后一律不得继续从事经商活动。
2022年11月30日中午12时13分，江泽民因患白血病合并多脏器功能衰竭，抢救无效，在上海逝世，享耆寿96岁。
