Många av de mest aktiva ungdomarna lämnade Malmö, medan några gick över till andra sporter. Därför beslutade sig IFK Malmö för att göra en satsning på fotbollen hösten 1903 och våren 1904. Man lyckades intressera några tidigare fotbollsspelare från den nedlagda Malmö Velociped Klubbs fotbollsavdelning. MVK som för övrigt introducerat fotbollen i Malmö redan 1890, då man spelade på den dåvarande Rörsjöns IP (Sveriges kanske första anlagda idrottsplats). När IFK inledde sin fotbollssatsning, då fanns det ingen fotbollsplan på idrottsplatsen (den tillkom först hösten 1905) och spelet fick bedrivas på en plan vid Husarkasernen, varvid spelarna snabbt tröttnade på förhållandena. De dåtida kommunikationerna var ju en aning bristfälliga minst sagt.
1909 då arbetet i Malmökamraterna delades upp i två sektioner kom fotboll åter med på programmet. Medan friidrottssektionen leds av Christian Schurmann tar Karl Brodin hand om ledarskapet i fotbollen. Den senare en dynamisk ledare för Malmö Boll och Idrottssällskap, som detta år avslutade sin verksamhet och gick upp i IFK Malmö. Föreningen fick därmed ett tillskott på 21 spelare av elitklass.
1910 bröt sig några f.d. BK Idrottsspelare sig ur IFK Malmö och den 24/2 bildade de en ny klubb - Malmö FF. Samma år tar IFK också sitt första DM i fotboll efter seger över Helsingborgs Arbetares Cykelklubb med 4-1. Framgångarna för fotbollen har i högsta grad varierat genom åren. Till dagens datum har man 13 allsvenska säsonger, inklusive den allra första serien 1924-1925. Den största framgången kom 1960 då man vann stora silvret genom att man blev tvåa efter IFK Norrköping. Efter våren ledde man serien, vilket innebar att man bereddes plats i Europacupen. IFK Helsingfors avfärdades lätt i kvalomgången med 3-1 och 2-1. Tidningarna var fulla av beundran över IFK-spelarna och i Allsport nr 10/1960 ställdes frågan: "Ska IFK Malmö - de senaste tio årens allsvenska sensation nummer ett - också bli en "bomb" i fotbollens europacup, bli det svenska lag som "genom tiderna" går längst i denna mästarnas tävling?". Matchen mot CDNA Sofia i den första omgången blev tuffare än matchen mot IFK Helsingfors. Returen i Bulgarien började inte bra för "di gule" och efter 21 minuter gjorde Nikola Tsanev 1-0. Man tog sig dock samman och sedan Hans Olofsson kvitterat i den 52:e minuten var IFK vidare inför 52 000 åskådare på Praterstadion. Nästa motståndare skulle dock bli IFK:s baneman. Rapid Wien gick segrande ur båda kvartsfinalerna med 2x2-0. Men det var inte det som skapade rubriker utan att "IFK som första svenska lag avancerat till kvartsfinal i Europacupen". Ur Gula Tider - en idrottshistoria
