首先，在制度规定层面，涉及公证证据保全的两个大的方面，即形式合法性和实质合法性。形式合法性和实质合法性是所有证据和证明所必须具备的。
其一，关于公证证据保全的形式合法性。形式合法性，是指公证证据保全行为在形式上是否符合法律的要求。公证证据保全形式合法性具体包括两个方面—主体合法性和程序合法性。在主体合法性方面，要求实施公证证据保全的主体必须符合法律的规定。按照公证法的规定，只有公证机构才能实施公证证据保全，具体的实施人应当是公证员；在程序合法性方面，由于公证法没有专门对公证证据保全程序作出专门规定，因此，在制度建设方面还应加强，以保证公证证据保全程序正当性。目前可以根据现行法的有关规定参照执行。
其二，关于公证证据保全的实质合法性。仅仅从主体合法性和程序合法性两个方面还不能够充分界定公证证据保全的合法性，还必须从公证证据保全行为的实质方面来加以规范。实质合法性不是从主体以及程序这些形式内容方面加以考察，而是就行为本身的合法性加以考察。公证证据保全的实质合法性考察涉及两个方面—从公证法规范对公证行为的考察和从民事证据法规范对公证证据保全行为的考察。由于公证证据保全通常没有放在诉讼程序之内，因而无论民事诉讼法还是最高法院《关于民事诉讼证据的若干规定》都没有相应的直接或专门规定。对公证证据保全的实质合法性是相对于形式合法性而言的，因此，实质合法性实际上就是从实体的角度，更多的是从实体法的角度考察其合法性。即将实体法规范作为实质合法性判断的标准。虽然法律、法规以及司法解释没有关于公证证据保全的实质合法性的具体规范，但我们可以从证据的合法性规范得到启示。
关于证据的合法性问题，人们通常是从证据取得的角度来加以认识规范的，基本思路是“毒树之果”的思路，即证据取得手段或方法违法，则该证据也就欠缺了合法性。最高人民法院《关于民事诉讼证据的若干规定》对此做了原则的规定。按照最高人民法院《关于民事诉讼证据的若干规定》第68条的规定：“以侵害他人合法权益或者违反法律禁止性规定的方法取得的证据，不能作为认定案件事实的依据。”该条确定了两个基本判断基准，其一，取得证据的方法侵害他人合法权益；其二，取得证据的方法违反法律禁止性规定。按照这样的规定模式，公证证据保全也同样可以作如此原则性规定，即公证证据保全侵害他人合法权益或者违反法律禁止性规定的不具有合法性。分析公证证据保全的结构可以发现，公证证据保全是一个主客体结构，即作为证明保全的主体行为与作为证明保全客体的证据。这一结构看似主动与被动的结构，但实际上包含着公证机关的主体行为和提供证据者的行为，也就是说公证证据保全的证据是特定的当事人所提供的证据，这一证据一定是以某种方式或方法取得的，这就涉及被保全的证据本身的合法性问题。实际上，公证证据保全的合法性判断中包括了被保全证据的合法性。如果被保全的证据的取得侵害了他人的合法权益或者违反了法律的禁止性规定，则该公证证据保全也是违法的。
不过，在有的情形下，公证证据保全的合法性并非简单地能从被保全证据是否具有合法性加以判断，因为被保全的证据在公证证明中会发生与公证机关的公证员与证据信息接触的问题，所以，公证证据保全的合法性问题还必须从公证主体与被公证保全的事项联系的角度来看。这里涉及一个可能被人们忽视的问题，对于某种涉及个人隐私、商业秘密、国家秘密的证据信息，公证人员能否知晓，并对其作出公证证据保全的问题。例如，短信、私人电子邮件、私人信件等涉及个人隐私的证据保全时，公证人员都可能接触到他人隐私，而且，短信、电子邮件和私人纸质信件都是当事人之间传递信息的媒介，公证人员作为第三方接触是否具有合法性，从而导致公证证据保全合法性的疑问。
