第二次世界大戦で日本が敗北し、日本軍が中国大陸から撤退した後、中国共産党と国民党との間で国共内戦が開始されたが、最終的に中国共産党が勝利した。
1949年3月、中国共産党が北京に進駐した際、新中国建国後における科学技術・学術研究の重要性に鑑み、共産党主導で全国統一の最高学術機関を設立することとなった。新たに設立する機関は、全国の自然科学及び社会科学分野の研究を行い、科学・教育・生産の緊密な連携を目指すものと位置付けられた。
中国科学院創立
1949年10月1日に毛沢東は天安門で中華人民共和国の建国を高らかに宣言し、その直後の10月19日に中央人民政府は政務院（現在の国務院）の下部組織として中国科学院を設置し、郭沫若を初代の中国科学院の院長に任命した。中国科学院は同年11月1日に北京で業務を開始しており、この日が現在でも中国科学院の設立日となっている。
中国科学院の本部は、当初臨時に東四馬大人胡同10号に置かれ、その後北京市内で数度移転した後、1970年に国家科学委員会（現在の科学技術部の前身）の跡地である三里河路52号へ移転し、現在に至っている。
中央研究院と北平研究院の接収
中国科学院が発足後、直ちに着手したのが、これまでの中国の科学技術・学術研究の遺産ともいえる中央研究院と北平研究院の施設や人員の接収である。蒋介石が台湾に逃れた際、同行した中央研究院の研究者などにより1954年に台北市に台湾の中央研究院が再建された。また、北平研究院の研究者の中にも台湾に移った研究者もいた。中国科学院の初めての仕事は、これら台湾に移った研究者や持ち去られた装置等の穴を埋め、新生中国のために科学技術・学術研究の基盤を確立することであった。
1949年11月、北平研究院の本部とその原子学、物理学、化学、植物学、動物学、史学の6研究所、及び中央研究院の歴史語言研究所の北京の図書史料整理処を接収した。続いて1950年3月、中央研究院が上海に所有していた化学、植物、動物、工学の4研究所と医学、薬学の両研究所の準備事務室、北平研究院が上海に所有していた生理学、薬物両研究所と物理学研究所の結晶学研究室を接収した。さらに同年4月、南京の中央研究院弁事処（事務局）と社会、物理、気象、天文、地質の5研究所及び中国地理研究所を接収した。
1950年6月、中国科学院の傘下の研究機関として、以下の15機関の設立が宣言された。
傘下の研究所設立
・近代物理研究所(北京)
・応用物理研究所(北京)
・物理化学研究所(上海、1952年に吉林省長春へ移転)
・有機化学研究所(上海)
・生理生化研究所(上海)
・実験生物研究所(上海)
・水生生物研究所(上海、1954年に湖北省武漢へ移転)
・植物分類研究所(北京)
・地球物理研究所(南京、1954年に北京へ移転)
・紫金山天文台(南京)
・工学実験館(上海)
・近代史研究所(北京)
・考古研究所(北京)
・語言研究所(北京)
・社会研究所(南京、1952年に北京へ移転)