纸灰总往人身上飞的原因可能有以下几点：

烧纸的位置可能位于风向最小的地方，即风尾。在这种情况下，纸灰容易被风刮起并飘散到人的身上。

如果天气干燥，人体容易产生静电，这可能导致纸灰被吸附在身上。特别是当穿着深色衣服时，可能更容易引发静电，从而增加纸灰吸附的可能性。

为了避免纸灰往人身上飞，可以尝试调整烧纸的位置，使其远离风向最小的地方。同时，在天气干燥的情况下，选择穿浅色衣服可能有助于减少静电的产生。