从石门涧逆溪水往山上走，过鳌鱼石、剪子峰，来到麻衣山前，这里有麻衣庵的残垣。据民国年间的《增修胶志》记载，晋代的陈仲举、元代的张清源、明代的赵麻衣等名士曾在这里隐居过。麻衣庵是1949年拆毁的。
现在的麻衣庵，虽仅有屋基断墙，但周围的遗存很丰富。庵后的峭壁上，有一悬空石室，它离地面两米高。室门凿造得很精致，门高两米，顶为孤形，有石门框和石雕门槛。室深3米，宽2.5米，四壁和底面平滑。这座石室，不知是为居住呢还是为供奉神灵佛像而建造的。在离石室前约3米处有一巨石，刻有莲花图，名为莲花石。《增修胶志》记载，在石室与莲花石之间古有铁板桥连接，人可攀石蹬上莲花石通过铁板桥进石室。现在石室完好无损，铁板桥无存。石室东侧的山壁上刻有“云逍庵”三字，不知何人所题。石壁上还有李庆道等人署名的“玉泉观旨缘”石刻，又有元代大德四年（1301年）孙荣题写的“太清岩”刻字。庵东侧有一巨石，当地人称为“飞来石”，石下可容人避风遮雨，石前额刻“朝阳洞”三字。庵前有一高石兀立，凿有供人攀登的石阶。高石顶上平敞，可容七八人坐。此石名为“说法石”，想必过去是僧人讲经说佛法之处。在说法石下，有一石碾底，透出过去这里的人间烟火气息。庵西侧的高处有一平台，条石砌的建筑基础依然很规整。志书上和民间都说过去这里建有“望海楼”。人在这里，向东望沧海浩淼，向西可见海湾连着海湾，山海两相依的景象在俯瞰之中。向南远眺，大珠山势如巨鳌入海，人好似站在鳌背上，亦有踞山而钓海之感。
麻衣庵东临大砦顶和麻衣山交汇处的大砦洼，那里有水源；庵西通黑龙潭深涧，那里景色奇幽。庵周围的遗存叙说着这里的过去，也留下了一些谜。
