公元1128年（南宋建炎二年），孔子第47世嫡长孙、衍圣公孔端友率族人随宋高宗赵构南渡，定居衢州，建立家庙。

这批孔子后裔史称孔氏南宗，衢州孔氏南宗家庙也成了继曲阜孔庙之后的全国第二座孔氏家庙。

南宋一朝的衍圣公共袭封六代，最后一任衍圣公孔洙在南宋灭亡之后，没有接受元世祖命其回曲阜接受封爵的旨意，而是将爵位让给了曲阜的族人。

公元1506年（明正德元年），明武宗封孔洙六世孙孔彦绳为子孙世袭的翰林院五经博士。

1919年，北洋政府又改五经博士为“大成至圣先师南宗奉祀官”。

1935年，国民政府废除封建爵位，将“衍圣公”改授为“大成至圣先师奉祀官”。

孔子的第74代嫡长孙、1938年出生的孔祥楷于1944年承袭“南宗奉祀官”一职，中央政府专发薪俸。