根据《民法通则》的相关规定，无民事行为能力或者限制民事行为能力的精神病人，由下列人员担任监护人：(一)配偶;(二)父母;(三)成年子女;(四)其他近亲属;(五)关系密切的其他亲属、朋友愿意承担监护责任，经精神病人的所在单位或者住所地的居民委员会、村民委员会同意的。

无民事行为能力人、限制民事行为能力人的监护人是其法定代理人。因此，当夫妻一方为限制民事行为能力人或者无民事行为能力人时，另一方是其法定的第一顺序的监护人，在没有经过法定变更的情形，其他人不具有直接的监护权。

监护人应当履行监护职责，保护被监护人的人身、财产及其他合法权益，除为被监护人的利益外，不得处理被监护人的财产。监护人依法履行监护的权利，受法律保护。监护人不履行监护职责或者侵害被监护人的合法权益的，应当承担责任;给被监护人造成财产损失的，应当赔偿损失。人民法院可以根据有关人员或者有关单位的申请，撤销监护人的资格。