"En Buenos Aires, a veintiocho de julio de mil novecientos cuatro, congregados en asamblea, en la oficina de cargas, un núcleo de 96 empleados pertenecientes a las diversas reparticiones del Ferro Carril Oeste con el fin objeto de fundar establecer un club, cuyo fin será el de fomentar los ejercicios físicos entre sus asociados, procedieron al nombramiento ad-honorem de presidente y secretario, para actuar en la misma, el que recayó por la mayoría de votos en los señores Eduardo Bouchez y F. Goñi respectivamente [...] la comisión directiva, la que quedó constituida por unanimidad de votos en la forma siguiente: presidente, W. G. Beeston; vicepresidente, E. Bouchez; tesorero, J. J. Talmadge; vocales, A. J. Avery, E. S. Languasco, A. F. Rey y F. Goñi. [...]".

Gracias al aporte económico de sus socios la institución adquirió los terrenos en los que actualmente funciona su sede social y su estadio. En agosto de 1904 tuvo lugar la inauguración oficial de la sede y el 2 enero de 1905 hizo lo propio con su estadio, que en la actualidad ostenta la condición de ser el más antiguo de la Ciudad de Buenos Aires.

En 1905 Ferro se afilió a la Asociación del Fútbol Argentino.​ Desde entonces el fútbol fue el primer deporte oficial del club. El equipo fundado por un grupo de ferroviarios comenzó a jugar en tercera categoría. Su primer partido fue disputado el 21 de abril de 1907 ante River Plate.

Ferro bicampeón

En 1912 Ferrocarril Oeste fue campeón de la División Intermedia, logrando el ascenso a Primera División. Estando en la máxima categoría obtuvo la Copa Competencia Adolfo Bullrich, que por ser una copa organizada para los clubes que militaban en la segunda división, Ferro debió conformar un equipo de segunda línea. El éxito volvió a favorecer al club de Caballito en 1913, en la misma competencia.

En la década del 20 nació la rivalidad con Vélez Sarsfield en el denominado "Clásico del Oeste", que en la actualidad lleva 23 años sin jugarse. El verdolaga tuvo su mejor campaña en 1927, alcanzando el cuarto puesto de la liga. También logró destacarse en atletismo, por el éxito de sus deportistas tanto a nivel nacional como sudamericano. El símbolo de esa generación de atletas fue Juan Carlos Zabala, que ganó la medalla de oro en los Juegos Olímpicos de Los Ángeles 1932, en la especialidad de maratón.

Años 30

En 1931 el fútbol argentino deja atrás su condición de amateur y se convierte al profesionalismo. Ferro es uno de los catorce fundadores de la nueva etapa del principal deporte de nuestro país. En su primera participación en la nueva liga Ferro se ubicó en la décima colocación.

En 1937, cuatro jugadores de las divisiones juveniles (Bernardo Gandulla, Juan José Maril, Luis Borgnia, y Raúl Emeal) a los que se sumó Jaime Sarlanga, proveniente de Tigre, formaron una delantera temible que es recordada como “Los Cinco Mosqueteros”. No fue campeón, pero ese año Ferro goleó 6-4 a Tigre, 4-3 a Huracán, 4-1 y 3-2 a San Lorenzo, 4-1 a Platense y Atlanta, 3-1 a Vélez.

Años 40 y 50

Después de dieciséis temporadas en la Primera División, producto de sus malos resultados, Ferro descendió en 1946.​ Oeste pasó dos años en la Segunda División. Terminó en tercer puesto en la primera y consiguió el ascenso en la segunda. En la década siguiente tuvo un desempeño discreto, hasta que perdió la categoría en 1957. Al año siguiente retornó a Primera, coronando una buena campaña venciendo a Dock Sud por 2-0 en el último partido.

Años 60 y 70

En 1962 Ferro descendió una vez más, retornando al fútbol grande al año siguiente. En 1966 asumió la presidencia del club el hombre que cambió el rumbo de la institución: Santiago Leyden. En 1968 descendió una vez más, permaneciendo en Segunda hasta 1970. En 1972 se inauguró la platea sur de su estadio, hecha íntegramente de cemento, albergando los palcos de prensa y sirviendo como techo del gimnasio Héctor Etchart, donde juega de local su equipo de básquet.

En 1977 el Oeste descendió nuevamente. En 1978 volvió a Primera. Al año siguiente fue contratado para dirigir al primer equipo el cordobés Carlos Timoteo Griguol, padre de la criatura futbolística que llenó de gloria las calles de Caballito en la década siguiente. Timoteo logró cambiar la mentalidad de un equipo que venía muy golpeado por los malos resultados y convertirlo en una máquina arrolladora.

Años 80: la Edad de Oro del fútbol verdolaga

En 1981 Ferro obtuvo un doble subcampeonato, tras finalizar en segundo lugar en los campeonatos Nacional y Metropolitano. Ese año el arquero Carlos Barisio alcanzó un récord en el fútbol argentino al estar diez partidos (1075 minutos) sin recibir goles. Dicha marca aún no fue batida. En 1982 Ferro Carril Oeste sale campeón por primera vez en su historia, repitiendo el logro en 1984.

Después de la consagración del 82 el propio Griguol expresó: "Esto es la consecuencia de un plan serio y responsable. Cuando terminó el Nacional 81 pensé que íbamos a estar en el 82 otra vez peleando el título y no me equivoqué. Sí mantuvimos el mismo trabajo, la misma gente y la misma dedicación, no podíamos hacer otra cosa que mejorar".

Los futbolistas desnatados del período fueron: Gerónimo "Cacho" Saccardi, Oscar Garré (campeón mundial con la Selección Argentina en México 1986) Jorge "Palito" Brandoni, Adolfino Cañete, Carlos Barisio y Alberto Mársico. Lamentablemente el éxito local no se tradujo a nivel continental. En la Copa Libertadores Ferro pasó sin pena ni gloria, quedando afuera en primera ronda las dos veces que la jugó.

Por estos años Ferro se destacaba en fútbol, básquet, atletismo, natación y vóley, obteniendo campeonatos y reconocimiento a nivel nacional, sudamericano y mundial. Por si algo faltaba, en 1988 llegó la distinción de la UNESCO como "Club modelo" y contando con una masa societaria de más de 50.000 personas.

Infierno y resurrección

La época de vacas flacas terminó y Ferro comenzó su declive en el plano deportivo e institucional. En la década del 90 los resultados no acompañaron y la gestión de la dirigencia no estuvo a la altura de las circunstancias. El resultado fue el descenso, en julio de 2000 y la quiebra decretada en diciembre de 2002.

Diez años después Ferro pudo salir de la quiebra y pudo comenzar a convertir las tribunas de su estadio, pasando de la madera al cemento. Otras reformas se vieron cristalizadas en la construcción de un nuevo polideportivo vecino a la platea sur, y la remodelación de la cancha auxiliar.

En el plano deportivo, dejando de lado el descenso a Primera B Metropolitana en 2002, Ferro tuvo campañas entre discretas y buenas, aunque no consiguió retornar a Primera División. El club lleva 24 años consecutivos jugando en divisiones en el Ascenso.