控告主审法官可以去司法监察部门或者人民监督员部门。司法监察部门包括省级以上司法厅（局）和最高人民法院监督管理局，主要负责对法官的违法行为进行监管和问责。

人民监督员部门则是指人民监督员制度设立的部门，由公民自愿担任，监督公职人员履行职责，维护公民的合法权益。需要提醒的是，对于控告主审法官的具体事宜要仔细核实，确保控告内容真实有效。