«Κάτι πρέπει να γίνει» ήταν η φράση που ακουγόταν όλο και πιο συχνά στο μικρό μαγαζάκι αθλητικών ειδών «Λουξ» του Αιμίλιου Ιωνά και του Κωνσταντίνου Δημόπουλου στην οδό Βερανζέρου.
Η συζήτηση έγινε πίστη και η πίστη σκοπός ζωής για τη μικρή αυτή παρέα, που οραματιζόταν να συγκεντρώσει κάτω από τον δικέφαλο αετό όλους τους ποδοσφαιριστές και τους φιλάθλους που προέρχονταν από την Κωνσταντινούπολη.
Στις 13 Απριλίου του 1924 και ύστερα από πoλύωρη συζήτηση, η παρέα πήρε την τελική απόφαση για την ίδρυση ενός συλλόγου με την επωνυμία Αθλητική Ένωση Κωνσταντινουπόλεως.
Ως έμβλημα επελέγη ασφαλώς ο Δικέφαλος Αετός και χρώματα το χρυσό και το μαύρο, όλα εμπνευσμένα από τη Βυζαντινή Αυτοκρατορία, για να θυμίζουν στους μεταγενέστερους την ένδοξη αθλητική παρακαταθήκη των Ελλήνων της Πόλης.
Το καινούργιο σωματείο βολεύτηκε πρόχειρα στα γραφεία τις ΧΑΝ στην οδό Μητροπόλεως, που παραχώρησε ο καθηγητής του Athens College Νίκος Ελεόπουλος.
Συντάχτηκε το καταστατικό και στις 29 Μαΐου 1924 εξελέγη το πρώτο διοικητικό συμβούλιο, με πρόεδρο τον δημοσιογράφο Κώστα Σπανούδη, μετέπειτα βουλευτή και υπουργό στην κυβέρνηση του Ελευθέριου Βενιζέλου.
Το συμπλήρωσαν οι Νίκος Ελεόπουλος (αντιπρόεδρος), Τιμολέων Τάγαρης, Μενέλαος Καροτσιέρης, Μίλτος Ιερεμιάδης, Κωνσταντίνος Δημόπουλος και Αμίλιος Ιωνάς.
Πριν συμπληρωθεί ένα δίμηνο, η ποδοσφαιρική ομάδα της ΑΕΚ ήταν αξιόμαχη και έτοιμη να κατεβεί στα γήπεδα.
Στον πρώτο της φιλικό αγώνα που έγινε στο Ποδηλατοδρόμιο του Νέου Φαλήρου (νυν Γήπεδο Καραϊσκάκη) νίκησε την ομάδα επιλέκτων του Πειραιά με 3 – 2.
Η πρώτη αυτή ομάδα απαρτιζόταν από τους Κίτσιο, Ιερεμιάδη, Ασδένη, Κεχαγιά, Παρασκευά, Δημόπουλο, Καραγιαννίδη, Μπαλτά, Μήλα, Ηλιάδη και Γεωργιάδη.
Οι πρώτες προπονήσεις γίνονταν στο χώρο του Ολυμπίου Διός, μπροστά σε μικρές συγκεντρώσεις φιλάθλων.
Οι υψηλές διασυνδέσεις του νεοσύστατου συλλόγου, τον βοήθησαν να ξεχωρίσει από τον Πανιώνιο και τον Απόλλωνα, που διεκδικούσαν την υποστήριξη του προσφυγικού στοιχείου της πρωτεύουσας και του χαρίσουν πανελλήνια εμβέλεια.
Αργότερα, παραχωρήθηκε στην ΑΕΚ το γήπεδο του Παναθηναϊκού και το 1929 ο τότε πρωθυπουργός Ελευθέριος Βενιζέλος έδωσε την άδεια να της παραχωρηθεί η έκταση στη Νέα Φιλαδέλφεια, εκεί όπου για 79 χρόνια ήταν το γήπεδο της ομάδας.
Ο πρώτος τίτλος για την ΑΕΚ ήλθε το 1932, όταν κατέκτησε το πρώτο Κύπελλο Ελλάδος, νικώντας στον τελικό τον Άρη με 5-3.
Μέχρι τον πόλεμο πρόσθεσε στη συλλογή της ένα νταμπλ (πρωτάθλημα και κύπελλο) το 1939 και ένα πρωτάθλημα τον επόμενο χρόνο. Σταρ της ομάδας ήταν οι Κώστας Νεγρεπόντης, Κλεάνθης Μαρόπουλος, Τρύφων Τζανετής, Μιχάλης Δελαβίνιας, Γιώργος Μάγειρας και Σπύρος Σκλαβούνος.
