在《十六年前的回忆》一文中，父亲对母亲说的话有两层意思：

表现了他的精神：

父亲在被捕前对母亲说的话不仅表达了他对家庭的不舍，更重要的是，表现了他对革命事业的坚定信念和牺牲精神。他知道自己即将面临生死考验，但仍然坚定不移地守护着家庭和事业，这种精神令人敬佩。

“轻易”在课文中是的意思：

父亲不肯轻易离开北京的原因是他担心如果自己离开了，这里的工作将无法继续。这表明父亲对革命工作的高度负责和对家庭的责任感，他不愿意因为个人的安危而影响到革命的大局。

这两层意思共同体现了父亲在生死关头所表现出的坚定信念、牺牲精神和对家庭及革命事业的深厚情感。