为什么说公务员对上级的命令不能无条件服从呢？首先，在现代社会，公务员担任职务是为了服务于非个人的客观目的,即公共利益,而非服务或者“孝敬”某一个人,因而公务员体制中下级与上级的关系,不是专制体制中奴才与主子、孝敬与被孝敬、效忠与被效忠的人身依附关系。其次,公务员执行职务完全受规则的约束,即他的职责通常是由法律、法规或者说是社会的公共意志予以规定的,而不是上级的人格因素所能随意决定的。再次,整个公务员体制都是理性的,即由法律予以控制和规范的,在这个体制中,任何官员只有依据法律规定的权限,才有权下达具体的命令。最后,公务员对上级的服从是职务而非身分的服从。既然公务员担任职务的目的只能是服务于公共利益,而不是去服务和服从于他的上级,那么,对于上级背离公共利益的违法命令他当然就有不予服从的权利。既然公务员只能在法律规定的范围内行使职权,而不是可以任由他的上级随意指使,那么,他也没有权利执行上级的违法命令,相反他有义务去不服从这一违法命令。
但是，公务员对上级命令的不服从必须有一个限度,因为如果任何下级都可以随意行使不服从上级的权利,对上级的命令动辄以有违反法律的嫌疑而拒绝服从,那么行政首长的权威和法律的权威也必将受到破坏，最终导致行政成本的加大和行政效率的低下。因此，公务员对上级命令的不服从并不是绝对的，而是相对的，并且应当限定在一定的范围之内：即直接违背上位法明确规定的上级命令、必然导致刑事犯罪的上级命令、不符合法定身份的上级发出的命令、不符合法定形式的上级命令、超越法律规定权限的上级命令。
对上级命令或决定是否存在错误，是公务员自身审查判断的过程，对公务员的素质也提出了更高的要求；但是公务员又应当如何对上级命令说“不”呢？一般情形下，公务员应当也必须严格地、坚决地贯彻和执行上级的决定和命令。但如果公务员认为上级的决定或者命令有错误的，公务员有权向上级提出意见；如果上级不采纳其意见，公务员仍应执行，事后如有权机关认定该决定或者命令确系错误时，负责执行的公务员不承担责任。对于明显违法的决定或者命令，如刑讯逼供、做假账、走私等，执行该决定或者命令会对公共利益或者公民的合法权益造成重大的或者不可挽回的损失，公务员有权拒绝执行，并且不承担不服从的责任。相反，如果公务员对于明显违法的决定或者命令仍予执行，无论其是否提出过改正的意见，均应承担相应的责任。
基于以上分析，
公务员法对“公务员的不服从”作出了这样的处理：首先，
公务员法强调公务员之服从是在上级作出的决定或者命令合法的情况下应当履行的义务。
公务员法第
十二条规定，公务员有“服从和执行上级依法作出的决定和命令”的义务。第五十三条将原草案中公务员不得“对抗上级决定和命令”的规定，修改为：公务员不得“拒绝执行上级依法作出的决定和命令”。第二，
公务员法增加了有关公务员如何对待错误及明显违法的决定或者命令的规定。
公务员法第
五十四条规定：“公务员执行公务时，认为上级的决定或者命令有错误的，可以向上级提出改正或者撤销该决定或者命令的意见；上级不改变该决定或者命令，或者要求立即执行的，公务员应当执行该决定或者命令，执行的后果由上级负责，公务员不承担责任；但是，公务员执行明显违法的决定或者命令的，应当依法承担相应的责任。”
