其次，人民之所以靠不住，是因为他们自己无法行动。历史是英雄创造的，根本没有“人民”的事，“人民”实际上不可能统治。作为理性人，他们都是搭便车者，宁可坐享其成，而不愿意为推动制度进步承担任何风险和代价。搭谁的便车呢？自然是搭少数改革精英的便车。这说得没错，绝大多数人（包括绝大多数“精英”）都是狭堃的理性的搭便车者，尤其在中国抛头露面，哪怕只是低度参与也风险巨大，因而卫政改革注定面临奥尔森（MancurOlson）所说的“集体行动困境” [12]。这种纯粹学理推断的问题在于，锐意改革的精英哪里都有，中国应该也不缺，为甚么他们在有些国家或地区居然成功了，在中国却至少从百日维新开始一无例外地失败了？如果改革精英只能和保守精英“窝里斗”，那么失败就是必然的结局──光绪必然敌不过慈禧、孙中山必然敌不过袁世凯、抗战之前的共产党必然敌不过国民党……如果不能打“民意牌”，如果人民永远是一群“不明真相的群众”，永远不能理性判断是非并影响精英内部的宫廷斗争，甚至连搭便车都不敢或没有机会，体制改革怎么可能成功呢？如果成功希望渺茫，连搭便车者都找不到，又有哪个改革精英敢抛头露面、以卵击石呢？如果人民永远不露面，改革何时可能启动呢？再说，既然中国民众是沉默无力的多数，他们的问题不是太积极，而是太不积极，我们的自由主义者又有甚么好恐惧的呢？
最后，精英自由主义认为不仅一般意堃的“人民”靠不住，中国人民尤其靠不住，因为他们长期生活在专制体制下，或为臣民，或为暴民，偏偏不是民主社会所需要的公民。这样的“人民”不行动还好，一行动就注定四分五裂、恶性内斗，或极易听信别有用心者的煽动蛊惑，上当受骗、误入歧途，民粹主义、民族主义、极左思潮泛滥成灾，把改革带向文革式灾难。“重庆模式”也许可以作为一个例子。过早让人民卷入政治，极易造成极端主义、暴力革命、恐怖统治、长期动乱、多数暴政等种种践踏个人自由的“坏东西”，多么可怕！这一套推断基本上是肇始于梁启超的“素质论”翻版，无非是“民智未开、制度未立”，因而不能贸然改革。这套逻辑本身也不能算错，专制臣民的素质永远是摆脱专制的障碍。其问题在于，要等到人民的卫政觉悟提升到符合自由主义所要求的高度之时，中国卫政早已水到渠成，还要发动群众做甚么？可惜的是，不让人民参与，民众觉悟永远提高不了，因而永远不可能启动卫政……这样，精英自由主义的“素质论”就陷入了一个自我循环的专制无底洞。
由此不难理解，自由主义开出的药方是自上而下的精英主义改革，概括起来是“先自由，后民主”──更准确地说，先通过精英专制统治提高民众素质，让社会多数人都接受自由卫政理念，然后才能搞民主，如此产生的民主才可能是“优质民主”或“自由民主”。因此，中国当务之急仍在于“启蒙”，而不是行动，否则很容易像五四运动那样愤激冲动、走火入魔。原来，“素质论”的根子并不全在专制保守主义那里，而且也在“自由保守主义”这里，或者说两者在“保守”（蔑视民众）方面是一脉相承的，甚至和左派民粹也是相通的。虽然表面上格格不入，但是在反对民主这个问题上，自由主义和民粹主义相映成趣；后者幻想用天方夜谭的“直接民主”来替代选举民主，前者则索性以“自由”与“启蒙”的名堃退缩到专制精英统治的老巢。
没有人会反对，民主是要有一定条件的；中国目前的选民素质未必能承载大规模民主选举的重任，因而卫政启蒙依然是今日中国的当务之急。尤其在某些关键问题上，由于长期宣传灌输形成的潜移默化影响，以及对政治敏感信息的高度过滤，国民的世界观和历史观遭到严重扭曲，因而不足以对这些问题做出理智判断，但是这并不表示中国选民在所有问题上都不能做出理智判断，在行动之前都需要知识精英诲人不倦地灌输自由主义法治理念。对于看得见、摸得着、近在咫尺的切身利益（譬如自己的土地和房屋），凡夫俗子比谁都清楚，而保护自身利益是人类与生俱有的本能；只要为他们提供一条参与决策的有效渠道，没有理由认定他们先天不合格。2011年末至2012年初，广东省乌坎村民不就行动起来了吗？他们之前受过甚么自由主义法治教育呢？精英自由主义的问题是以偏概全，认为当前民众在某些问题上不理智，便在所有问题上都不理智；认为任何人都不可能像上帝那么绝对可靠，就无人够格决定影响自己的公共事务。但是公共决策总得有人去做。既然人民不可靠，那么就只有继续按现行模式让官员决策。这样，看起来吊诡的是，自由主义便自觉或不自觉地和专制主义合流了。
