（2）实验过程缺乏科学控制。实验过程中的科学控制是实验区别于其他实证方法的典型特点，也是实验科学性的最突出体现。而从目前我国司法领域的众多试点、实验的公开成果来看，只有极少数详细描述实验的具体实施过程，对实验过程的控制是否符合科学性要求也十分可疑。例如，在某实验希望证明某项新制度有效可行，在实验实施之前对所有参与人员进行培训，实验过程中所有参与人员都严格按照培训的程序进行了操作，之后对这些人员进行了调查，结果显示新制度效果非常理想。这仿佛是一场心照不宣的戏剧或者一次固定了pose的“摆拍”，显然，全体参与者都努力地按照实验者的要求去做，因此理想结果的出现并非新制度使然，而是“霍桑效应”的结果。一旦脱离实验环境大范围推广，既有条件发生改变，种种实验中未出现的问题就会纷至沓来{30}。事实上，制度改良式实验几乎都属于现场实验，如果实验目的不单纯是示范培训，还要论证制度的有效性，那么就要求在实验过程中必须保持实验对象的原有特性，不改变实验对象的现场背景，甚至不让实验对象知道自己参与了实验（即所谓单盲实验），只有这样才能观察新制度实施之前和之后的真实差异，得出客观的效果评价，但这在目前的司法实验过程中很难见到。
（3）实验结果缺乏逻辑论证。在目前一些实验报告中，看似眼花缭乱的实验数据、图表与实验结论之间往往并无内在的或直接的逻辑关联，或者不足以推导出实验结论，或者实验结论并不具有唯一性，有的结论甚至完全脱离了实验过程本身，几乎与实验活动无关。有的实验对影响实验效果的各种内在因素缺乏客观的考虑和交代，内部效度十分可疑；就外部效度而言，不少结论根本不涉及适用范围和限度。事实上，在中国这样一个幅员辽阔、政治经济发展不平衡的国度，某些个案的成功能否说明其具备全国普适性是需要严格论证的，即使单个实验本身难以克服实验法普遍存在的“探照灯效应”，但至少应当在本实验范围内有所考虑和交代，而这恰恰被许多实验结论所忽略。它究竟是一项应当被适用于全国范围内所有司法区的改革，还是一项仅仅在大城市或小城市才有效果的改革？它是针对问题的过渡性措施还是永久性方案？这些本身就需要通过实验予以验证的适用范围和效力问题在多数实验结论中都语焉不详或者根本没有考虑，致使实验结论的说服力大打折扣。
2．中立立场缺失。在目前众多的制度改良式实验中，新做法的价值论证往往已经在实验前解决，实验目的主要是为了验证其是否可行，在实践中能否与真实司法环境中的各种因素相契合。实验主体对实验结果往往已有了倾向性意见，认为新制度能够产生更好的效果，实验主体的“预期效应”在此类实验中体现得十分明显。我国相当一部分试点由实务部门出于追求政绩的目的发起和主导，他们往往既是实验者又是实验对象，既设计又评估，如同既当裁判又当运动员一样，对结果的倾向性明显，而依赖实务部门协助的学者也往往会受到实务部门立场的影响，失去对实验结果的客观追求{31}。司法机关在中国司法实验中扮演重要角色，这是我国现有体制下的一种特殊现象，其对司法改革的经验积累具有十分积极的意义，但同时也产生了一个突出的问题，那就是，难以避免司法机关与实验结果产生利益关联，从而使实验结果带有某些人为的倾向性。因此，报纸所见常常是“某某试点或实验效果明显”的报道，期刊所见也往往是没有客观评估标准参照的“王婆卖瓜”式实验报告，用大量篇幅来阐述实验的正面效果和可行价值，而对逻辑论证和结论的适用条件、范围和局限性着墨甚少。极少有承认实验不符合预期或假说不成立，并坦然以失败的实验为样本从中提炼道理总结经验的案例。有的实验前期宣传大张旗鼓，后期实验效果不够理想，就迅速销声匿迹，具体原因和数据却语焉不详或不肯公开。与之相比更令人担忧的是那些不但预设了立场，而且对实验过程、条件、数据、结果都进行了人为控制的“伪实验”，这种实验毫无内在效度，徒具“实验”外壳，却能以预设结果博得皆大欢喜，损害了实证研究所应当秉承的客观、严谨、科学的研究风气。
3．统筹监管缺失。如前文所述，司法领域的秩序性限定了实验的施展空间，这是法治社会维持既有稳定性的一种必然。而目前制度改良式试点在司法领域遍地开花，审判机关、检察机关、行政机关都以“司法改革”之名各显神通，缺乏框架设计和统一规划，许多实务部门为求政绩跟风进行试点实验，同一名目下的实验目的不同，做法各异，这使得实验过程和结论普遍带有过于浓重的人为因素和偶然因素，无法重复检验，也难以进行经验汇总，耗费了大量社会资源。针对司法实验对现行法律体制和宪政秩序所造成的冲击，有学者不无忧虑地指出：“司法改革试验突破现行有效的法律，甚至与之发生直接冲突，使法治前或者法治初创时期的不规范现象或者脱序现象有时得到制止，有时得不到制止，虽然还算不上庖代立法，但却实实在在违反了法律，造成了正当程序危机”。{32}自司法改革试点日渐增多以来这样的声音一直环绕在侧，体现了司法改革进程中探索创新与自我约束理念之间的矛盾和博弈，这同时也是我国司法领域实验所面临的一个独特的难题。
