無效。根據《中華人民共和國合同法》第四百壹十條規定，委托人或者受托人可以隨時解除委托合同。因此，無論是委托人簽署單方委托書還是與受托人達成委托協議，都不能違反合同法的規定，限制委托的撤銷。公證委托書中約定的不可撤銷條款實際無效。