女方出轨并不是退回彩礼钱的法定理由,根据《婚姻法司法解释二》第十条:当事人请求返还按照习俗给付的彩礼的,如果查明属于以下情形,人民法院应当予以支持:
(一)双方未办理结婚登记手续的;
(二)双方办理结婚登记手续但确未共同生活的;
(三)婚前给付并导致给付人生活困难的。
适用前款第(二)、(三)项的规定,应当以双方离婚为条件。