但存在缺陷是：一是法律规定过于简单，笼统粗糙，实践中难以操作。二是作为社区刑罚执行机关的公安机关，由于担负着极其繁重的其他任务，而常常无暇顾及对这五种罪犯的刑罚执行、考察和监督，从而使得对这五种社区刑罚的执行流于形式。这些缺陷的存在使得社区刑罚的优势难以发挥，因此新一轮的刑事执行体制改革势在必行。
由于理论的宣传，更由于现实的需要，使得中国官方开始考虑尝试推行社区矫正。2003年7月10日，最高人民法院、最高人民检察院、公安部、司法部联合分布了《关于开展社区矫正试点工作的通知》，确定自2003年起，在北京、上海、天津、江苏、浙江、山东六省(市)开展社区矫正试点工作。后来范围逐步扩大到全国27个省(区、市)，2009年在全国范围内试行社区矫正，效果显著。上述《通知》要求，司法行政机关负责牵头组织有关单位和社区基层组织开展社区矫正试点工作，街道、乡镇司法所具体承担社区矫正的日常管理工作。公安机关则是依法履行有关法律程序(以便与刑法、刑事诉讼法及监狱法的有关规定衔接)，配合司法行政机关开展社区矫正试点工作。2010年11月司法部成立了社区矫正管理局，目前27个省(区、市)司法厅(局)成立了相应的社区矫正管理机构。当然，社区刑罚和社区矫正的执行权不再由公安机关行使并不意味着公安机关不再承担任何社区刑罚的监督管理职责。公安机关是我国主要的社会治安管理部门，因而社区矫正的实行仍然需要公安机关的配合参与。
2011年2月25日全国人大常委会通过的刑法修正案(八)在管制、缓刑、假释的规定中都不再规定由公安机关负责监管，而是笼统地规定为“依法实行社区矫正”。即将启动的刑事诉讼法修订以及将来要制定的社区矫正法对社区刑罚和社区矫正的执行主体作出明确的规定，将社区刑罚与社区矫正的执行权交由司法行政机关来行使，符合社区矫正形势发展的需要，符合刑罚执行体制科学化规律，符合国际社会的通行做法。
