端午节不能游泳的由来主要有以下几点：

传统文化中的敬畏

在中国古代，水神被认为是非常重要的神灵，掌控着水的力量。端午节这一天，人们会在家中贴上艾草和菖蒲，以驱赶瘟疫和邪灵。同时，也会在河边或湖边放龙舟比赛，这是为了纪念屈原，也是为了祈求水神的保佑。因此，游泳可能会被认为是对水神的不敬，也可能会招来水神的不满。

避免招惹邪灵

端午节正值农历五月，俗称“恶月”，这一时期天气炎热多雨，河流湖泊的水流湍急，水中的危险因素也增加。有些地方在端午节这天忌游泳，尤其忌到曾经溺死过人的地方游泳，因为在端午节，人们认为溺死鬼最凶，要找替身还阳。

健康和安全考虑

端午节的时候，天气虽然比较炎热，但水温可能还比较低，尤其是河里面的水是上面温热下面冷，如果这时候下水就容易导致因下层水寒从而腿抽筋，这是极其危险的。此外，端午节正处于雨季，容易发生山洪，在河里游泳比较危险。

纪念屈原

端午节的一项重要活动是纪念屈原，而屈原是在农历五月初五投身汨罗江而亡的。因此，在这天最好不要在河里游泳，以免发生危险。

综上所述，端午节不能游泳的传统主要是出于对水神的敬畏、避免招惹邪灵、健康和安全考虑以及纪念屈原等多方面的原因。