Əli Həbib oğlu Kərimov 1919-cu ildə Bakıda, qulluqçu ailəsində anadan olmuşdur. 1937-ci ildə orta məktəbi bitirdikdən sonra Azərbaycan Sənaye İnstitutunun neft mexanikası fakültəsində oxumuşdur. Təhsil aldığı illərdə fakültə, sonra isə institut komsomol təşkilatının katibi olmuşdur.[1] 1942-ci ildə institutu bitirmiş[2] və sonralar qiyabi olaraq ÜİK(b)P Mərkəzi Komitəsi yanında Ali Partiya Məktəbində[ru] təhsil almışdır.[3]
1942-ci ildən Əli Kərimov Dzerjinski adına zavodda yoxlayıcı usta, bir qədər sonra isə nəzarət şöbəsi rəisinin müavini vəzifəsində işləmişdir. O, eyni zamanda zavod komsomol təşkilatına rəhbərlik etmişdir.[1] Bundan sonra o, komsomol işinə daha yaxından cəlb olunmuş və 1943-cü ildə Orconikidze (hazırkı Suraxanı) rayonunun komsomol komitəsinin katibi seçilmişdir. 1944–1945-ci illərdə isə Bakı komsomol komitəsinin katibi, 1945–1947-ci illərdə isə birinci katibi vəzifələrində çalışmışdır.[2] 1947-ci ilin oktyabr ayında Azərbaycan Lenin Kommunist Gənclər İttifaqı Mərkəzi Komitəsinin birinci katibi seçilmişdir. Sovet nümayəndə heyəti tərkibində Ümumdünya Gənclər Federasiyasının Budapeştdə keçirilmiş konqresinin işlərində iştirak etmişdir.[1]
Əli Kərimov 1952–1956-cı illərdə Azərbaycan Kommunist Partiyası Mərkəzi Komitəsində şöbə müdiri olmuşdur.[4] 1956–1960-cı ildə Azərbaycan SSR daxili işlər naziri, 1960–1965-ci illərdə isə Azərbaycan SSR Nazirlər Soveti sədrinin müavini vəzifələrində işləmişdir. Həmin dövrdə, 1962–1965-ci ildə paralel olaraq Azərbaycan KP MK və Azərbaycan SSR Nazirlər Soveti Partiya-Dövlət Nəzarəti Komissiyasının sədri və Azərbaycan KP MK katibi olmuş, 1965–1970-ci illərdə Azərbaycan SSR Xalq Nəzarəti Komitəsinin sədri vəzifəsində çalışmışdır.[5]
Əli Kərimov 1970-ci ildə Azərbaycan Kommunist Partiyası Bakı Şəhər Komitəsinin birinci katibi təyin edilmiş və bu vəzifədə 1980-ci ilədək işləmişdir. 1980-ci ildən isə Azərbaycan SSR Dövlət Əmək Komitəsinin sədri olmuşdur.[5]
Əli Kərimov 1943-cü ildən ÜİK(b)P (Sov.İKP) üzvü üzvlüyünə qəbul edilmişdir. O, 1953–1981-ci illərdə Azərbaycan Kommunist Partiyası Mərkəzi Komitəsinin üzvü, 1962–1966-cı və 1971–1981-ci illərdə Mərkəzi Komitə Siyasi Bürosunun üzvü, 1966–1971-ci illərdə isə Siyasi Büro üzvlüyünə namizəd olmuşdur.[5] 5 çağırış (3, 5, 8–10-cu) SSRİ Ali Sovetinin, 5 çağırış (2, 4–7-ci) Azərbaycan SSR Ali Sovetinin, eləcə də Bakı Şəhər Zəhmətkeş Deputatları Sovetinin deputatı seçilmişdir.