回国后，严济慈同时执教上海大同大学、中国公学、暨南大学和南京第四中山大学。他还参与筹建中央研究院理化部分，任理化实业研究所（后分为物理、化学和工程三个研究所）筹备委员。

1928年底,严济慈辞去薪金丰厚的大学教职,准备再次出国留学。这次赴法，严济慈决心要使自己更充实，使科学在中国的土地上生根。他先后在巴黎大学法布里实验室、居里夫人实验室和法国科学院戈登(Cotton)实验室从事研究，两年时间里发表了七篇影响力颇深的学术论文。

使科学研究在中国大地上生根，只有一些立志献身科学、努力奋斗的个人是不够的，还必须在国内创建从事科学研究的条件，培养人才、形成队伍。基于这一认识，1930 年12 月，严济慈接受北平研究院院长李石曾的盛情邀请，回国出任北平研究院物理学研究所所长。

两次赴法留学，严济慈与居里夫人结下了深厚的友谊。1931年3月，为了筹建中国放射性实验室,他写信向居里夫人求教。居里夫人寄来了含镭的盐样品和放射性氯化铅，并回信给予了热心的指导，对筹建中的镭学研究所致以良好祝愿，希望它“旗开得胜，并逐步发展成为一个重要的镭学研究所”。1932年，北平研究院镭学研究所成立，严济慈兼任所长。同年，严济慈参与创建了中国物理学会。

在北平的八年时间里，严济慈以“加倍的努力与拼命的苦干”精神从事科学研究。他白手起家，在十分简陋的条件下废寝忘食、夜以继日地工作，在《法国科学院周刊》、英国《自然》、美国《物理评论》等学术期刊上发表论文40余篇。其中，严济慈与钱临照关于《压力对照相乳胶感光性能的影响》的研究论文，1932年发表在《法国科学院周刊》，这是中国科学家发表在该期刊的第一篇论文。1933 年，国际臭氧委员会将严济慈、钟盛标等精确测定的臭氧在紫外区域的吸收系数定为标准值，各国气象学家每日用此来测定高空臭氧层厚度变化达30 年之久。1935年1月，严济慈和法国的约里奥·居里、苏联的卡皮查一起，当选为法国物理学会理事。徐悲鸿赠画“喜鹊登梅”以示祝贺。

严济慈认为，北研院物理所和镭学所做的研究工作，是为中国的物理学辟道路、打基础。他为物理所的发展投入了全部心血，选聘人才，筹建实验室，选定研究课题，培养年轻人，邀请郎之万、朗谬尔、狄拉克、哈达玛和玻尔等国际知名科学家讲学。到抗日战争爆发前，物理所已经成为一个学术氛围浓厚、科研成果丰硕、人才辈出的学术机构。