선생은 1867년 경기도 수원군 구포리에서 부친 김창희와 모친 풍양조씨 사이에서 장남으로 태어났다. 18세가 되던 해인 1885년 정시문과(庭試文科) 병과(丙科)에 급제했다.

1898년부터 독립협회에서 몸담기 시작했다. 독립협회 간부진들이 개혁내각 수립과 의회개설을 요구하다가 구속되자, 독립협회의 대표위원으로 만민공동회 운동을 전개하는 등 민중계몽에 앞장섰다.

1906년 동래부사에 임명되어 부산으로 내려갔다. 여기서 통감부의 비호 아래 일본인들이 한인들을 대상으로 경제적 침탈과 만행을 자행하는 것을 목격했다. 민족의식을 자각한 선생은 일본인들의 횡포를 제지하다가 통감부의 압력과 친일파 송병준의 모함을 받고 해직되었다.

1910년 한국이 일본에 강제병합 당하자 대종교에 입교했다. 1914년 신단실기(神壇實記)와 신단민사(神壇民史)를 저술하였다. 이 책은 단군을 중심으로 한 민족서사로서 망국이후 한국 국민들의 애국혼을 고취하였다.

1916년 9월 나철(羅喆)의 뒤를 이어 대종교 2대 교주로 취임했다. 조선총독부는 1915년 10월 포교규칙을 발표하고 대종교를 항일독립운동단체로 규정하여 탄압을 가하였다. 이에 선생은 대종교 본사를 만주 화룡현(和龍縣)으로 옮기고, 항일무장투쟁 역량을 강화하고자 46개의 시교당을 각 지역에 설치하여 민족교육을 전개했다.

1919년 2월 대종교 교주로서 대종교 주요 인사 및 해외에서 활동하는 독립운동가와 함께 뜻을 모아 대한독립선언서를 작성하였다. 대한독립선언서를 통해서 세계 각국에 한일합방은 무효임을 선언하고, 향후 수립될 국가는 자주독립적인 민주공화제에 기반을 둘 것임을 분명히 밝혔다.

1919년 3월 24일 만주 안도현(安圖縣)에서 대종교인, 학생들과 함께 만세운동을 전개하며 조국독립을 위해 헌신했다.

1919년 10월 서일, 현천묵 등 대종교인들이 중심이 되어 조직한 북로군정서(北路軍政署)에 참여하여, 1920년 10월 홍범도, 김좌진이 청산리대첩을 승리로 이끄는데 중요한 역할을 하였다.

청산리대첩에서 패배한 일본은 만주거주 한인들을 대상으로 학살을 자행했다. 이러한 상황에서 대종교의 지도자중 한명이었던 서일이 순국했다. 이에 선생은 한인들을 보호하고 대종교를 지키고자 본사를 영안현(寧安縣)으로 옮겼다. 서일의 죽음과 일본의 한인 학살에 충격을 받은 선생은 1923년 11월 18일 본사 수도실에서 순국했다.

대한민국 정부는 1977년 김교헌 선생에게 건국훈장 독립장을 추서했다.