Ο Ολυμπιακός ιδρύθηκε το 1925 στον Πειραιά και το ποδοσφαiρικό τμήμα, αποτέλεσε το πρώτο του αθλητικού συλλόγου «Ολυμπιακός Σύνδεσμος Φιλάθλων Πειραιώς».
Πιο συγκεκριμένα, ο Ολυμπιακός ιδρύθηκε στις 10 Μαρτίου 1925 στον Πειραιά, για να αποτελέσει το αντίπαλο δέος του πολύ ισχυρού, εκείνη την εποχή, Εθνικού, αλλά και των αθηναϊκών ομάδων όπως ο ΠΑΟ και η ΑΕΚ.
Προήλθε από την συγχώνευση του Πειραϊκού Συνδέσμου με την Πειραϊκή Ένωση, σωματεία που είχαν ιδρυθεί στα τέλη του 19ου αιώνα και στις αρχές του 20ού αιώνα.
Το όνομα του νέου συλλόγου το έδωσε ο πρώτος αντιπρόεδρός του, Νότης Καμπέρος, δίνοντας τέλος στις διαφωνίες που είχαν δημιουργηθεί. Ο Μιχάλης Μανούσκος πρόσθεσε το «Σύνδεσμος Φιλάθλων Πειραιώς» και ο τίτλος ψηφίστηκε ομόφωνα.
Το όνομα του νέου συλλόγου επιλέχθηκε ώστε να υποδηλώνει το πάθος, την αθλητική ισχύ, την ευγενή άμιλλα, τη δίκαιη νίκη, έννοιες που περικλείονται στο ολυμπιακό ιδεώδες.
Υπό το σκεπτικό αυτό επιλέχθηκε ως έμβλημα της ομάδας ο δαφνοστεφανωμένος έφηβος, εμπνευσμένος από τους Αρχαίους Ολυμπιακούς Αγώνες και σε πλήρη σύμπλευση με το πνεύμα και τη φύση του ονόματος του συλλόγου.
Συμβολίζει τη δύναμη, την αθλητική ισχύ, το ήθος και την ευγενή άμιλλα, αξίες άρρηκτα συνυφασμένες με το Αρχαίο ελληνικό πνεύμα.
Τα χρώματα του συλλόγου επιλέχθηκαν από τον Γιάννη Ανδριανόπουλο (ο οποίος σχεδίασε και την πρώτη φανέλα) και ήταν το κόκκινο, το χρώμα της γενναιότητας και του πάθους, και το άσπρο, αυτό της αγνότητας, της ηθικής και του δίκαιου ανταγωνισμού.
Ήταν κατά βάση λαϊκή ομάδα και δημοφιλής απο την πρώτη στιγμή.Τα ιδρυτικά μέλη του Ολυμπιακού ήταν 33:
Oι Ανδριανόπουλοι (Γιάννης, Γιώργος, Ντίνος και Βασίλης), ο Μιχάλης Μανούσκος, ο Νότης Καμπέρος, ο Κώστας Κλειδουχάκης και οι Δημήτρης Ανδρόνικος, Νίκος Ανδρόνικος, Δημήτρης Αυδής, Νίκος Βλάσσης, Στέφανος Εμμανουήλ, Νίκος Ζαχαρίας, Θανάσης Καλλίτσης, Νίκος Καλούδης, Ντίνος Καλούδης, Όθων Κόκκινος, Τριαντάφυλλος Κρέμος, Παναγιώτης Κωστάλας, Παναγιώτης Λαγουμιτζής, Ανδρέας Λουκάκης, Σπύρος Λουκάκης, Γιάννης Λουλουδάκης, Βαγγέλης Μαγκόπουλος, Σταύρος Μαραγκουδάκης, Γρηγόρης Ντούφας, Θόδωρος Ορλώφ, Φώτης Πρωτοψάλτης, Γιάννης Συμιγδαλάς, Νίκος Συμιγδαλάς, Χρήστος Τζουμερικιώτης, Βρασίδας Τρουποσκιάδης και Σπύρος Ψαλλιδάς.Το πρώτο διοικητικό συμβούλιο του Ολυμπιακού είχε ως εξής: Πρώτος πρόεδρος ο Μιχάλης Μανούσκος, αντιπρόεδροι οι Νότης Καμπέρος (εμπνευστής του ονόματος του συλλόγου) και Τριαντάφυλλος Κρέμος, γενικός γραμματέας ο Στάυρος Μαραγκουδάκης, ταμίας ο Όθων Κόκκινος, έφορος ο Παναγιώτης Λαγουμιτζής και μέλη οι Κώστας Κυρίμης, Νίκος Ζαχαρίας, Γιάννης Λουλουδάκης, Δημήτρης Σκλιάς και Ε. Κασιμάτης.
Αρχικά ο Ολυμπιακός αποτελείτο από αυστηρά 100 μέλη, τους περίφημους 100 αθανάτους από τους οποίους συντάχθηκε και το πρώτο καταστατικό του συλλόγου.
Οι αθάνατοι ήταν ισόβια μέλη και για να μπορούσε να εισέλθει κάποιο νέο μέλος στον σύλλογο θα έπρεπε να αποβιώσει ένα παλιό.
Επιφανείς παράγοντες του Πειραιά στήριξαν έμπρακτα την ίδρυση του Ολυμπιακού, έχοντας ως σκοπό να δημιουργήσουν ένα αθλητικό σωματείο που να αμφισβητήσει την κυριαρχία του Πειραϊκού Συνδέσμου.
Εκτός του βιομήχανου Μιχάλη Μανούσκου και του ανώτατου αξιωματικού του Πολεμικού Ναυτικού Νότη Καμπέρου, ενεργή συμμετοχή είχαν μεταξύ άλλων και οι Δημήτρης Καμπέρος αξιωματικός και πρωτοπόρος της Πολεμικής Αεροπορίας, αδερφός του Νότη Καμπέρου, Σταύρος Μαραγκουδάκης, διευθυντής του Ταχυδρομείου, Νίκος Ανδρόνικος, έμπορος, Δημήτρης Σκλιάς, αξιωματικός του Στρατού, Νικόλαος Ζαχαρίας, δικηγόρος, Θανάσης Μέρμηγκας, συμβολαιογράφος, Ιωάννης Κεκκές, χρηματομεσίτης και όλη η οικογένεια των Ανδριανόπουλων με προεξάρχοντα τον επιχειρηματία Ανδρέα Ανδριανόπουλο, πατέρα της θρυλικής πεντάδας των Ανδριανοπουλαίων.
Πρώτη έδρα του Ολυμπιακού αποτέλεσε το Ποδηλατοδρόμιο, το οποίο ήταν γήπεδο με καρβουνόσκονη, ενώ δεν είχε επαρκείς εγκαταστάσεις για να φιλοξενήσει τους πολυάριθμους φιλάθλους που το κατέκλυζαν εξ αρχής.
Από το ξεκίνημά του πραγματοποίησε επιτυχίες που τον ισχυροποίησαν ως σύλλογο. Από την ίδρυση του έως το 1929 η μοναδική ομάδα που κατάφερε να τον νικήσει ήταν ο Παναθηναϊκός, δείχνοντας από νωρίς ότι θα αποτελέσει το αντίπαλο δέος, ενώ επί μία τριετία το ίδιο διάστημα (4 Μαρτίου 1926 – 3 Μαρτίου 1929), παρέμεινε αήττητος σε αγώνες πρωταθλήματος και φιλικούς, κάνοντας ρεκόρ.
Πρώτος επίσημος αγώνας που έδωσε στην ιστορία του ήταν με την ομάδα του γαλλικού πολεμικού πλοίου Ζαν ντ’ Αρκ, στις 30 Απριλίου 1925 στο Ποδηλατοδρόμιο, την οποία και νίκησε με 6–0.
Την ίδια χρονιά συμμετείχε στο νεοσύστατο πρωτάθλημα Πειραιά, η κατάκτηση του οποίου αποτέλεσε τον πρώτο τίτλο του συλλόγου. Κατέκτησε το πρωτάθλημα Πειραιά και τις επόμενες δύο χρονιές, ενώ ελλείψει εθνικού πρωταθλήματος έδωσε αρκετούς φιλικούς αγώνες με άλλες ομάδες σημειώνοντας μεγάλες νίκες και σκορ.
Στο πρώτο πρωτάθλημα Ελλάδος το 1928 ο Ολυμπιακός μαζί με Παναθηναϊκό και ΑΕΚ δεν συμμετείχαν με επακόλουθο την τιμωρία τους από την ΕΠΟ. Ο Ολυμπιακός συμμετείχε στο δεύτερο πρωτάθλημα του 1929–30 μαζί με Παναθηναϊκό και Άρη κατακτώντας την τελευταία θέση. Στο επόμενο πρωτάθλημα του 1930–31 κατέκτησε τον πρώτο του τίτλο, ενώ ακολούθησαν άλλα πέντε τη δεκαετία του 1930.
Η πλήρης καταξίωση για τον Ολυμπιακό ήρθε τη δεκαετία του 1950 όταν με σπουδαίους ποδοσφαιριστές στη σύνθεσή του, κατέκτησε επτά πρωταθλήματα, τα έξι εκ των οποίων συνεχόμενα.
Τότε παρατηρείται η χρήση της ονομασίας «Θρύλος» για την πειραϊκή ομάδα, η οποία υφίσταται μέχρι και σήμερα, ενώ γίνεται ιδιαίτερα δημοφιλής, με τον φανατικό της κόσμο να γεμίζει ασφυκτικά το τότε Ποδηλατοδρόμιο (το μετέπειτα Στάδιο Καραϊσκάκης) και να την ακολουθεί πιστά σε όλα τα γήπεδα που αγωνιζόταν.
Ο Ολυμπιακός έχει πολυετή παρουσία στις ευρωπαϊκές διοργανώσεις, έχοντας επιτύχει αρκετές προκρίσεις και νίκες, ενώ ήταν και η πρώτη ελληνική ομάδα που συμμετείχε σε ευρωπαϊκή διοργάνωση.
Την περίοδο 1958–59 επρόκειτο να συμμετάσχει στο κύπελλο Πρωταθλητριών, όμως η κλήρωση τον έφερε αντίπαλο με την τουρκική Μπεσίκτας και λόγω των άσχημων σχέσεων ανάμεσα στις δύο χώρες ο Ολυμπιακός αποχώρησε χωρίς να αγωνιστεί, καθώς η UEFA δεν δέχτηκε την πρότασή του οι αγώνες να διεξαχθούν στη Γιουγκοσλαβία.
Τελικά έκανε την παρθενική του εμφάνιση την αμέσως επόμενη περίοδο στην ίδια διοργάνωση, όπου αντιμετώπισε τη Μίλαν, από την οποία αποκλείστηκε αποσπώντας ισοπαλία 2–2 στον Πειραιά και με ήττα 1–3 στο Σαν Σίρο.
Το 1962 ο Ολυμπιακός αποσύρθηκε από τους αγώνες με τη μαλτέζικη Χιμπέρνιανς γιατί ενδιαφέρθηκε περισσότερο για το Βαλκανικό Κύπελλο, όπου σημείωσε τα εξής αποτελέσματα: με Μπρασόβ (Ρουμανία) 1-0, 2-6, με Σαράγεβο 3-2, 3-3 και με Γαλατασαράι 1-0, 1-1.
Στον τελικό επικράτησε της Λέφσκι Σόφιας μετά από τρεις αγώνες: 1–0 στο Στάδιο Καραϊσκάκης, 0–1 στη Σόφια και 1–0 στον τρίτο και αποφασιστικό τελικό που διεξήχθη στην Κωνσταντινούπολη στις 18 Σεπτεμβρίου 1963.
