成立直後の中国科学院が範としたのは、ソビエト連邦（ソ連）の科学技術・学術活動であった。最初に行ったのは、ソ連への留学生の派遣である。1951年、中国科学院設立後に初めて派遣した留学生として、7名が北京を出発した。分野や専攻は、原子核物理学、低温物理学、触媒化学、金属工学、物理採鉱学などである。派遣期間は1年間から2年間だった。その後、中国科学院から大量の留学生が派遣されてソ連や東欧諸国で学んだ。これら留学生は、帰国後に中国科学院の各研究所や有力大学の主力研究者となった。
1953年には、銭三強中国科学院副院長を団長とする代表団が3ヶ月をかけてソ連各地を訪問し、ソ連の科学技術の現状について調査するとともに、中ソ両国の科学技術協力について意見交換を行った。代表団は、ソ連科学アカデミー傘下の研究所など98の研究機関や11の大学、さらには工場、鉱山、コルホーズ（集団農場）、博物館、展覧会などを視察した。
1954年には、著名な土壌学者でソ連科学アカデミーの会員であるコブタが、中国科学院の院長顧問として北京を訪問し、北京や華東地方、華南地方の各研究所を相次ぎ視察した後、翌年1月に研究機関の適正な配置、中国科学院と高等教育機関や産業部門との協力強化、学位制度の設置などを提案した。最も重要な内容として、国としての十五年科学発展長期計画を策定することにより全国的な科学研究活動を計画的に実施し、国民経済建設十五年計画の策定に伴って浮上した国全体として最重要の科学技術課題を解決することを提案した。1955年、コブタの後任としてソ連科学アカデミーのラザレンコ教授が北京に到着し、1958年までその任にあった。
しかし中ソ対立の影響を受け、ソ連との科学技術協力が非常に難しくなっていく。1956年のフルシチョフ共産党第一書記のスターリン批判を契機に、中ソ間でイデオロギー論争が始まり、毛沢東とフルシチョフの間で数度会談が重ねられるも和解に達せず、1959年にはソ連が原爆技術供与に関する中ソ間の国防用新技術協定を破棄した。さらに1960年、ソ連は中国に派遣していた技術専門家を引き上げてしまった。このため、中国科学院もソ連の指導を離れて、自力による科学技術発展を余儀なくされていった。