4.法院其他人员的回避难以执行。在案件审理过程中，由于法院其他工作人员的影响确实客观存在，其回避也是在情理之中；但问题是这些人究竟应该如何回避。在审判实践中，这些人的回避问题从来就没有得到解决，也不会有什么好的办法去解决。因为他们并不参与案件的具体审理和判决，也不参加辅助性的审判活动；换言之，既然没有参与又何来回避？是让他们从具体的案件审理活动中回避还是干脆从法院这个单位回避？但不可否认的是，他们给审判人员施加的影响会给公正造成实际的损害。可是具体到实际操作过程，他们的回避问题便因为难以操作且又未作具体规定而不了了之。
三、观念更新与制度完善
公平和正义始终是人类社会共同的追求，伴随着不懈的努力，人类追求公正的视线早已越过实体公正而定格于程序公正，更加注重法律程序在具体运作过程中所实现的价值目标即“过程价值”。无论是在司法还是行政活动中都要重视程序，此点在当下中国更具现实意义。然而，上述制度设计及实施中存在的诸多问题，恰恰暴露出了我们在回避制度方面的缺陷：不仅仅有具体制度上的缺憾，而且还有制度外的观念缺失。我们认为，解决制度问题固然离不开制度本身的再造，但同样也离不开制度外的一些因素特别是观念的重塑。因为观念不仅导引着人们执行制度的行为，而且还能对制度设计产生巨大影响；可以说，观念对回避制度的制定与实施都具有重要意义。最高法院在制定《规定》时遗留在具体制度中的缺憾以及基层法院在执行回避制度中的困境，都与重实体轻程序的旧有观念密切相关。因此，完善现有司法回避制度不能仅仅就制度谈制度，而是首先需要从制度以外的观念层面进行革新，为建构和实施回避制度解决好前提问题。
从文化传统上看，以儒家为代表的礼法文化不仅无所不及，而且还根深蒂固，与亲情、私情、友情等密切相连的千丝万缕的人情关系无处不在。这些特殊的社会关系非但没有被严格限定在私权利范围之内，反而被传统文化所默许甚至纵容去干预公权力的行使，包括对公权力行使过程及其结果的干预，因而，各种人情干扰下的程序不公乃至实体偏私就成为一种正常的社会现象。在现实生活中很容易发现，当不公正来临时，人们更多哀叹或者愤怒的是自己没有足够的“关系”，而不是权力不能公正行使的本身。当公权力行使过程被文化所认同的私情所浸润时，追求程序公正和实体公正未免就是奢谈。与之相适应，人们在观念上对程序的漠视程度也很严重，往往习惯于追求实体公正而忽视程序公正的重要性，不仅一般民众如此，就连诉讼中的当事人甚至法官有时也如此。这是我们在审视回避制度时所必须要关注的问题。
