不，大米面蒸馒头不需要用开水烫。蒸馒头的过程中会产生蒸汽，将面团蒸熟。如果提前用开水烫过面团，会导致面团变得过于湿润，影响馒头的口感和质地。因此，在制作大米面蒸馒头时，只需要将面团揉匀后直接蒸熟即可，无需用开水烫。这样制作出来的馒头口感松软，味道香甜，更加美味可口。