Ο ναός των Αγίων Σεργίου και Βάκχου βρίσκεται στη νοτιοανατολική πλευρά της Κωνσταντινούπολης, σε μικρή απόσταση από τη Θάλασσα του Μαρμαρά. Ο χώρος όπου οικοδομήθηκε ανήκε στο συγκρότημα του ανακτόρου του Ορμίσδα, την ιδιωτική κατοικία του Ιουστινιανού Α΄ πριν εκείνος ανέβει στον θρόνο. Ο νέος ναός κτίστηκε από τον ίδιο μεταξύ των ετών 527 και 536 ή ανάμεσα στο 520 με 527 κατά την πιο πρόσφατη έρευνα, δίπλα στην προϋπάρχουσα εκκλησία των Αγίων Πέτρου και Παύλου, την οποία ο ίδιος είχε ιδρύσει. Με τον τρόπο αυτό οι δύο ναοί απέκτησαν κοινό νάρθηκα, αίθριο και πρόπυλο. Τμήμα της τοιχοποιίας του νότιου τοίχου των Αγίων Σεργίου και Βάκχου θεωρείται πως προέρχεται από τον κατεστραμμένο σήμερα ναό των Αγίων Πέτρου και Παύλου.
Ο νέος ναός κτίστηκε ως οκταγωνικός, εγγεγραμμένος σε τετράγωνο. Λόγω της ομοιότητας του αρχιτεκτονικού σχεδίου του με εκείνο της Αγίας Σοφίας, χαρακτηρίστηκε ως Μικρή Αγία Σοφία.
Από τον Γεώργιο Κεδρηνό (12ος αι.) πληροφορούμαστε ότι γύρω από τους δύο ναούς οργανώθηκε επί Ιουστινιανού ανδρική μονή, με την τελευταία αναφορά σε αυτήν να χρονολογείται το 1427.
Ο ναός των Αγίων Σεργίου και Βάκχου μετατράπηκε σε τζαμί μεταξύ των ετών 1506 και 1512, από τον αγά Χουσεΐν, ο οποίος και τάφηκε δίπλα από τον ναό. Κατά τη διάρκεια των Βαλκανικών Πολέμων (1912-1913) και του Α΄ Παγκοσμίου Πολέμου (1914-1918) στην αυλή του κατέφυγαν πρόσφυγες.
Σήμερα ο ναός λειτουργεί ως τζαμί με την ονομασία Küçük Ayasofya Camii.