衡阳客家话人口最多的地方是衡阳市衡山县。该县是湖南省人口最多的县之一，拥有近百万人口。同时，该县也是湖南省唯一一个以客家话为主要方言的县，客家话在该县广泛使用，是当地百姓日常生活中不可或缺的交流工具。此外，衡山县也是湖南省重要的客家文化传承地，客家文化在这里得到了充分的发扬和传承。衡山县的客家话的人口数量巨大，可见其在湖南省内的客家文化传承和发展中的重要地位。