第二，聚众淫乱罪是一种典型的无被害人犯罪。自美国学者埃德温·舒尔于1965年首次提出了“无被害人犯罪”的概念以来，它基本上与非犯罪化相伴而生。波斯纳曾言，“在无被害人的性犯罪中，法律很有震慑力，但这种震慑力在很大程度上懵人。”[23]中国学者也指出，“从刑事政策的角度，将无被害人犯罪犯罪化与自由主义冲突，不利于合理划分刑法与道德的界线，违背刑法的谦抑性、法益保护等原则，所以应当将无被害人犯罪以非犯罪化。”[24]在某种意义上说，聚众淫乱不仅没有具体的受害者，而且犯罪人之间还互相收益。立法者之所以将其规定为犯罪，主要是认为它侵犯了社会的善良风俗。其实，在刑事案件中，社会的善良风俗能否作为一个受害实体来认定却大可商榷。如果仅仅因为违反社会的善良风俗，就将违反者认定为犯罪者，将社会的善良风俗认定为被伤害者，由这个逻辑推衍开来，必将造成不可收拾的局面。举例言之，在中国，绝大多数人都会结婚，只有百分之几的人终身不婚，他们的行为显然违反了社会的善良风俗，但是我们不能以违反善良风俗和伤害社会风俗为名将独身者绳之以法。因此，将社会风俗当做受害实体是荒谬的。而把社会风气定义为公民百分之百进入婚姻，性行为百分之百在婚姻之内，这也是一种很陈旧的定义，是一种中世纪的定义。中国进入现代社会之后，权利保障理念逐步升温，以致不管是哪种性取向或性行为方式，不管性取向或性行为方式与当前的社会道德观念是多么地背离，如同性恋、虐恋、手淫或肛交等等，只要不伤害他人或建立在行为者自愿的基础上的，就都应该算做是个人的权利，与他人无关，他人—包括公共权力—尽管不喜欢、不接受，甚至深恶痛绝，都无权过问。权利论所树立的这个根基，基本上是理论思辨的结果，应该成为中国刑法未来的发展方向。舍此，聚众淫乱罪的去罪化就失去了正当根基。
第三，聚众淫乱罪并无法与国际间保持一致性。1948年12月10日联合国通过的《世界人权宣言》第12条规定，任何人不得对他人的私生活加以任意或非法的干涉。另外，《巴伦西亚性权宣言》和《香港性权宣言》对性权利也作了规定。当今的西方，自然是要被中国许多依据集体无意识而视封建性道德原型为道德圣条的中国人指责成堕落的象征，然而就是这样“堕落”的西方，社会公民却普遍要比那些“道德”的中国人开明善良得多，只要去西方—无论是欧洲还是美国或者大洋洲、加拿大，就知道民风淳朴，人人乐于互助，环保法治，爱心公德。所以，在西方国家并没聚众淫乱罪及其相似罪名的规定。如果说西方国家的文化与东方差异较大，不可同日而语的话，那么同为东方的新加坡，素以刑法严厉著称，但也没有聚众淫乱罪的规定，中国的香港、澳门和台湾也同时没有这样的罪名规定。以台湾“刑法”为例，其虽然专列“有伤风化罪”一章，但却只包括血亲性交（第230条）、意图使人为性交猥亵罪（第231条）、引诱容留他人性交猥亵罪（第232条）、公然猥亵罪（第234条）、散布贩售猥亵物品罪（第235条），并没有聚众淫乱罪的规定。[25]但牢骚归牢骚，现实归现实。在中国，聚众淫乱行为被立法者想象成为伤害社会肌体的一种“癌细胞”。这种“癌细胞”一旦任其扩散，对整个社会风气的破坏极大。在这种想象之下，聚众淫乱行为的“杀伤力”自然被放大。目前我国刑法中的“聚众淫乱罪”，恰恰就赋予了国家的偏好凌驾于个体偏好之上的特权，即赋予国家以刑罚手段对不符合自己偏好的个体行为进行惩罚的权力。所以，为了实现自身简单而有效控制的价值偏好，掌握公共权力的国家及其代表非常容易地就能找到一个所谓的“道德崇高”的幌子，并以此为借口无根据地侵犯和践踏公民的基本权利。这固然能令人敬畏，但却无法让人信服。
第四，聚众淫乱罪是典型的“秩序维持论”的产物，随着“权利保障论”的异军突起，其意义也会大为减色。在秩序维持论之下，聚众淫乱行为伴随着高度的道德混乱。反过来，事物的不确定性和思想的混乱围绕着聚众淫乱行为的道德鼓动，并为性的刑法管制提供了适宜的环境，从而赋予性行为一种新的政治特点—不得破坏公共秩序。[26]于是，国家通过刑事立法，决定了允许与禁止、纯洁与猥亵的范畴，并通过其与道德规范的相互依存关系，制造了性行为的规范。可见，聚众淫乱罪是秩序维持论“魔鬼附身”的产物。伴随着性的世俗化和自由化的挑战，这件“美丽囚衣”正在遭遇危机。10年前，中国法理学界已经明确提出中国法学应该由“工具本位论”转向“权利保障论”，即实现法律的政治性到法律的公理性之转变，实现法律介入由“是否危及秩序”到“是否侵害他人的权利”之转向。[27]如今，10年过去了，“权利保障论”已成法学的“视窗”，人权观念也已深入人心。这种转型对刑法的影响很大。比如，过去，通奸都被国家视为“败坏道德”，从而被硬性扣上破坏“社会秩序”的大帽子，以通奸罪惩治。现在，通奸罪却被视为是一种权利冲突，并摘去了破坏“社会秩序”的高帽，与犯罪说“再见”。有学者指出，“性的人权道德是对个体独立性的尊重，个体在性方面的表现或选择归根到底是一种‘权利’……从行为主体的角度来说，性的人权道德应该是以自己的权利为前进动力，以对方的同等同样的权利为前提，以不侵犯所有相关者的个人权利为界限，以爱情为主导去从事一切性方面的活动。从人际关系的角度来说，如果双方之间或者双方与其他人之间发生了权利方面的冲突，唯一的解决办法是在平等协商的基础上，寻找出双方都能够接受的中间界线，达到‘没有受害者’的境界。”[28]这样自然也就没有了聚众淫乱罪存在的空间。如果以权利的被侵害作为证成聚众淫乱罪是否成立的依据，聚众淫乱作为一种自愿进行的“性聚会”，虽然危及道德秩序，但不侵犯他人权利。聚众淫乱罪这种置公民权利于不顾，而把重心放在道德或政治层面的做法让人费解。
