退休党员应当参加“三会一课”。根据中共中央办公厅印发的《关于加强新时代离退休干部党的建设工作的意见》，离退休党员需要按照“离岗不离党，退休不褪色”的要求，积极参加支部活动，建言献策，做好党分配给自己的任务，持续发挥好余热。同时，虽然存在一些特殊情况，如年龄偏大、身体健康状况不好、出行不方便等，导致离退休党员无法正常参加“三会一课”，但这并不意味着他们可以免除参加的责任。在这种情况下，可以采取创新形式，如“线上直播，线下集中”的方式，以便离退休党员能够参与组织生活。此外，对于年老体弱、长期生病、生活不能自理、行动不便等无法正常参加组织生活的离退休干部党员，经本人申请，并经所在党支部批准，并报上一级党组织备案后，可以不参加。

综上所述，尽管存在特殊情况，退休党员仍然需要参加“三会一课”，并在可能的情况下通过创新形式参与组织生活，以保持党员的先进性和参与感。