3·1운동 이후 정부수립운동이 일어나 3월에 해삼위(海蔘威)의 대한국민회의, 4월에 서울의 한성정부(漢城政府)가 수립되었을 때, 상해에서도 4월 제헌의정원회의(制憲議政院會議)에서 정부가 수립되고 10개조의 헌장이 채택되었으나 신병으로 참석하지 못해 각료 선출에는 빠졌다.

그 뒤 제1회 의정원회의에서 부의장으로 선출되었다. 그러나 7월의 제2회 회의에서는 부의장과 아울러 의원직도 사퇴하였다.

9월에 3개 정부를 통합해 대한민국임시정부가 수립되자 11월에 법무총장에 취임하였다. 이듬 해 대통령 이승만(李承晩)이 미국으로 돌아가자 국무총리대리를 겸임했고, 1921년에는 외무총장도 겸하였다.

이 해 10월 임시정부에서는 국무회의의 의결을 거쳐 그를 특사로 하여 부사 박찬익(朴贊翊), 수행원 민필호(閔弼鎬) 등을 광둥(廣東)의 중화민국정부에 파견하였다. 중화민국정부의 북벌서사식(北伐誓詞式)에 참여하고, 11월 대총통 손문을 만나 국서를 전하고 임시정부의 승인을 받았다. 그 뒤 신병으로 사표를 제출했으나 처리되지 않았다.

1922년 임시정부의 내분이 표면화되어 이승만에 대한 대통령불신임안이 그의 불참 속에서 통과되었다. 병상에서 25일간 절식을 하다가 독립을 기원하는 유언을 남기고 사망하였다.