Ο Άγιος Ιωάννης ο Ρώσος γεννήθηκε περίπου το 1690 στην περιοχή της Μικράς Ρωσίας, σημερινής Ουκρανίας, από χριστιανούς γονείς. Κατετάγη στο στρατό του Μεγάλου Πέτρου και πήρε μέρος στον Ρωσσοτουρκικό πόλεμο (1710–1711), όπου αιχμαλωτίστηκε και στη συνέχεια πουλήθηκε ως σκλάβος σε Τούρκο αξιωματικό (ίππαρχο) που καταγόταν από το χωριό Προκόπι της Μικράς Ασίας.
Ο Τούρκος αξιωματικός μετέφερε τον Άγιο στο Προκόπι και εκεί προσπάθησε, όπως συνηθιζόταν τότε, να τον πείσει να αλλαξοπιστήσει. Ο Άγιος αντιστάθηκε σθεναρά σε όλες τις προσπάθειες του Τούρκου και τέλος ο Τούρκος άφησε ήσυχο τον Άγιο να διατηρήσει την πίστη του.
Οι συνθήκες διαβίωσης του Αγίου ήταν πολύ σκληρές. Κοιμόταν στο στάβλο του αφεντικού του, μαζί με τα ζώα, των οποίων τη φροντίδα του είχε αναθέσει. Έτρωγε ελάχιστα, τα ρούχα του ήταν φτωχικά και ήταν αναγκασμένος να περπατά χωρίς υποδήματα. Σε αυτόν τον στάβλο, ο Άγιος προσευχόταν, ενώ τα βράδια συχνά επισκεπτόταν μια εκκλησία που ήταν εκεί κοντά, αφιερωμένη στον Άγιο Γεώργιο.
Το αφεντικό του πλούτισε και έγινε από τους ισχυρότερους άντρες της περιοχής. Όταν κάποια στιγμή ο Τούρκος αξιωματικός επισκέφτηκε τη Μέκκα για προσκύνημα, ο Άγιος Ιωάννης με θαυμαστό τρόπο έστειλε από το Προκόπι στην Μέκκα ένα πιάτο με ρύζι για το αφεντικό του. Στην αρχή δεν τον πίστεψαν, αλλά όταν ο Τούρκος γύρισε από την Μέκκα φέρνοντας το πιάτο μαζί του πείστηκαν και το θαύμα αυτό έγινε γνωστό σε όλους όσοι κατοικούσαν στην περιοχή. Ο Τούρκος, θέλοντας να τιμήσει τον Άγιο, προσφέρθηκε να του καλυτερέψει τις συνθήκες διαβίωσης. Ο Άγιος όμως αρνήθηκε και συνέχισε να φροντίζει τα ζώα τού αφεντικού του και να μένει στον στάβλο. Δουλεύοντας την ημέρα και προσευχόμενος την νύχτα έζησε ο Άγιος Ιωάννης ο Ρώσσος το υπόλοιπο του βίου του έως τις 27 Μαΐου 1730, όταν αναπαύτηκε σε ηλικία 40 ετών.
Όταν το τέλος του εκόντευε, ζήτησε να κοινωνήσει το Σώμα και Αίμα Χριστού. Ο ιερέας, γνωρίζοντας το φανατισμό των Τούρκων, για να προστατεύσει τη θεία Μετάληψη, την έκρυψε σε ένα μήλο και έτσι την πέρασε αθόρυβα μέσα από το τουρκικό σπίτι στον Άγιο. Το σώμα του παραδόθηκε από το αφεντικό του στους χριστιανούς του Προκοπίου, ώστε να το θάψουν σύμφωνα με τους κανόνες του Χριστιανισμού. Το σώμα του Αγίου ενταφιάστηκε στο χριστιανικό νεκροταφείο και εκεί παρέμεινε για τριάμισι χρόνια.
Οι Χριστιανοί έκαναν την ανακομιδή του λειψάνου του Αγίου και το τοποθέτησαν σε μια λάρνακα κάτω από την Αγία Τράπεζα του Ναού του Αγίου Γεωργίου, στον οποίο προσευχόταν ο Άγιος εν όσο ήταν στη ζωή. Το 1930 άρχισε να χτίζεται ναός προς τιμή του Αγίου, ο οποίος ολοκληρώθηκε το 1951. Στον νέο Ναό μεταφέρθηκε το σκήνωμα του αγίου, όπου βρίσκεται μέχρι σήμερα.