中国科学院が設立されたのは第二次大戦後の中華人民共和国（新中国）の建国後であるが、中国における近代的な科学技術活動は第二次大戦前にさかのぼる。中国科学院の母体となった組織は中央研究院と北平研究院の二つである。

中央研究院の設立

　1911年に辛亥革命が成功し中華民国が成立した後、袁世凱や軍閥の台頭などの混乱期を経て、1925年に国民党による国民政府が成立した。国民政府は1927年11月、近代的な科学技術や学術研究の重要さを認識し、中華民国の最高研究機関として「中央研究院」を政府直属で設立することとし、傘下に物理、化学、工学、地質、天文、気象、歴史語言、国文学、考古学、心理学、教育、社会科学、動物、植物の14研究所を設置することを決定した。

　翌1928年4月、蔡元培を初代の院長に選出した。1868年に浙江省紹興で生まれた蔡元培は、科挙制度の「進士」に及第し、清朝の官吏に任ぜられた。1898年の戊戌の変法が失敗に終わったため、蔡元培は清朝の政治改革に絶望し下野した。辛亥革命後、蔡元培は中華民国の教育総長やドイツ留学などを経て北京に戻り、1916年12月に北京大学の学長に就任した。1928年に中央研究院の院長となった後は、1933年に現在の南京博物館の前身である国立中央博物館の館長などを勤めている。

　傘下の研究所も着実に整備され、同年中に上海に物理研究所、化学研究所、工学研究所、地質研究所が、上海と南京に社会科学研究所が、南京に天文研究所と気象研究所が、広州の中山大学内に言語歴史研究所が、それぞれ設置された。1937年の盧溝橋事件により勃発した日中戦争中、中央研究院は戦乱を避けて昆明、桂林、重慶等へ疎開し、終戦後に再び上海などに戻った。

北平研究院の設立

　国民政府内で中央研究院設置の議論をしていた際、準備委員の一人であった李煜瀛（別名李石曽）が、北平（現在の北京）地域に依拠した研究機構の設立を合わせて提案し、関係者の賛同を得た。1929年9月国民政府は、北平大学（現在の北京大学）の研究機構を一部統合整理して「北平研究院」を創立した。初代の院長には、同院の設立を推進した李煜瀛が指名された。北平研究院の研究部門は気象、物理・化学、生物、人文地理、経済管理、文芸の6部門であり、物理、化学、ラジウム（後に原子学を改名）、薬物、生理、動物、植物、地質、歴史などの研究所を傘下に設けた。1937年に日中戦争が勃発した翌年、雲南省昆明に北平研究院の仮事務所を設置し、物理、化学、生理、動物、植物、地質、歴史の7つの研究所を昆明に移した。第二次大戦が終わると、生理研究所と物理研究所結晶学研究室を上海に移した他は、残りの研究所を全て北京に戻した。

　なお李煜瀛は、1881年に河北省高陽に生まれ、革命運動に参加した後、1920年に北京で中法大学を創設し理事長となった。1925年国民党の中央政治委員会委員、1928年北京大学学長などを勤めた後、1929年に北平研究院の院長となった。第二次大戦後、再度北平研究院に戻ったが、1949年には蒋介石（Chiang Kai-shek）率いる国民党とともに台湾に移った。国民党の四大長老の一人といわれている。