第四，坚定不移的走司法官的精英之路，即司法官应当少而精，司法官队伍应当是一支真正的德才兼备的高素质的队伍。在少而精的基础上，应当努力提高司法官的待遇，为公正司法建立物质基础。我国目前现有法官二十多万名，分布在全国三千多个法院之中。[16]尽管自1993年以来各类案件的数量以每年约11%的比率增长，法院的任务越来越繁重，但应当看到，我国现有的法官队伍与国外的法官的数量相比，不是太少而是太多，可以说是相当庞大的，我们不妨以英美两国的法官数量做比较。在英国，从中世纪王座法院设立开始至1813年，英国全国仅有法官数十名。到1896年，英国全国只有法官五百名左右，这支人数极少的队伍在数百年间大致完成了维护社会公正及发展普通法的历史使命。截止1997年，英国全职法官仅有964名，其中包括12名大法官，25名上诉审法官，95名高级法院法官，520名巡回院法官，302各地区法官，此外英国还有大约2000名兼职法官。如果按人口比例，英国大约每11万人有一名全职法官。而我国按人口比例是每4.8万中有一名全职法官。在我国，只有法官队伍的“少而精”，才能全面提高法官的素质和法官的社会地位，可以对“少而精”的法官实行优厚的待遇，彻底解除其生活上的后顾之忧，尤其是全面提高法官在社会中的整体形象，增进司法的权威性。如果法官多而不精，则不仅难以保证裁判质量，从经济上说也很难推行法官的“高薪制”。当前，我们需要强调法官的身份保障，但不能因为实行身份保障而完全否定淘汰制度，因为目前法官的来源渠道多样，而且在过去一个相当长的时间内法官的入门门槛过低，以致于造成实践中少数法官确未达到法官基本素质以及法官法要求的担任法官的基本标准，对确实不符合法官素质要求的，应采取各种措施予以淘汰。
第五，要建立法官的交流和流动制度，目前由于法官的待遇取决于地方政府的财政状况以及地方的经济发展情况，凡是经济比较发达到地区，法官的待遇就比较高，而经济贫困落后地区的，法官待遇过低，这样就导致许多法官不愿意到贫困地区担任法官，以至于造成贫困地区的法官队伍素质难以提高，因此我们建议法官在通过司法考试取得任职资格之后，不一定必须在本地区担任法官可以经过上级法院甚至最高人民法院的安排，派往贫困地区工作一段时间，但应当在经济上给予相应当补助。这首先需要在制度上区分法官的资格的取得和实际出任法官，从而有利于法官的流动，即法官在取得出任法官的资格以后，不一定必须在某个地位出任法官，根据工作需要可以在另一个地方的法院实际出任法官，不同地区的法院的法官也可以进行必要的交流。
从国外的经验来看，尤其是在英美法系国家，法官经常实行流动。在美国除联邦最高法院的法官以外，其他联邦法院法官并不是固定于某个法院，如某个巡回法院的会议庭常常是由一个巡回法院的法官和数个地区法院、或由某个地区法院法官和数个巡回法院的法官组成的。在英国也经常出现此种情况，即某个法官今天在这个法庭开庭，明天又在另一个法庭开庭。[17]从中国的情况来看，法官的流动不仅有助于法官的相互交流，法官在某个地方法院的合理配置，尤其重要的是，法官的合理流动有助于克服地方保护主义现象，保障法官的严格执法。因为某个法官来自于某地而又在该地出任法官，或者虽不是来自于该地而在该地出任法官时间过长，难免与当地各方面的人士过于熟悉，因此在审理案件中，必然会遇到各种人际关系、人情的干扰，影响其公正执法。司法地方保护主义的一个重要原因在于本地法院的法官与地方过于熟悉，而难免受人情左右，偏袒本地当事人。所以，法官的合理流动是十分必要的。法官不能流动，也影响法官的素质。例如，我国目前大学毕业生分配进法院，进去以后便固定不变，分在基层法院的不了解上诉案件，而分在上级法院的，不了解基层的一审情况，因此其经验和知识面都较窄。
