Δεν απέχει πολύ από τις Καρυές η σκήτη του Αγίου Ανδρέα, που ανήκει στην Ιερά Μονή Βατοπεδίου. Στην αρχαιότητα, στο ίδιο μέρος ήταν χτισμένο το μοναστήρι του Αγίου Αντωνίου, το οποίο καταστράφηκε από πειρατές τον 15ο αιώνα.
Την σημερινή όψη η Σκήτη απέκτησε τον δεύτερο μισό του 19ου αιώνα, όταν αγοράστηκε από Ρώσους μοναχούς και μετατράπηκε σε «Κοινόβια Σκήτη Αγίου Ανδρέα». Σε έκταση η Σκήτη υπερβαίνει πολλές αγιορείτικες Μονές ενώ το Καθολικό της ήταν το μεγαλύτερο από αυτά που χτίστηκαν στην Ανατολή τα χρόνια της τουρκοκρατίας. Στις αρχές του 20ου αιώνα ο αριθμός των ασκούμενων στην Σκήτη έφτανε τους 800 αλλά το 1913 λόγω εξαπλώσεως της αιρέσεως της ονοματοδοξίας το μεγαλύτερο μέρος αυτών απελάθηκαν. Έπειτα ο Πρώτος Παγκόσμιος πόλεμος και η Οκτωβριανή επανάσταση απέκοψαν την ροή των Ρώσων μοναχών. Το 1971 κοιμήθηκε ο τελευταίος αδελφός της παλαιάς αδελφότητας. Η Σκήτη ερημώθηκε και ξεκίνησε η διάλυσή της. Η αναγέννηση της Σκήτης ξεκίνησε το 1992 όταν ανέλαβε η νέα αδελφότητα.
Οι Έλληνες αποκαλούν τη σκήτη "Σεράι" (Σεράι, δηλαδή το παλάτι στα Ελληνικά). Οι Ρώσοι μοναχοί και προσκυνητές μετέτρεψαν τη λέξη αυτή σε "Ούτος ο Παράδεισος" («σει ραι» – στα Ρωσικά).