如果您发现平安付自动扣款存在问题，想要追回款项，可以尝试以下步骤：
1. 联系平安付客服：首先，您需要联系平安付的客服，了解自动扣款的原因和具体金额。您可以通过在线客服、电话客服或邮件等方式与客服取得联系。
2. 提供相关证据：在与客服沟通时，提供足够的证据证明自动扣款是错误的，例如银行账单、交易记录等。
3. 申请退款：在确认自动扣款存在错误后，您可以申请退款。客服可能会要求您填写一份退款申请表，按照要求填写并提交。
4. 跟进退款进度：在提交退款申请后，要关注退款的进度。如果迟迟未收到退款，可以再次联系客服跟进。
5. 考虑维权：如果平安付方面无法为您解决问题，您可以考虑通过消费者权益保护组织或相关部门进行维权。