然而，志在必得的侯方域竟然在这次秋试中名落孙山，这不仅大出他的意料，也大出时人意料。据说，这位才子之所以榜上无名，乃在于他在策论中对时局的批评过于激烈，主考官当然有理由据此认为这是狂生的虚妄，不录取也是分内之中的事。
落榜是侯方域平生遭遇到的第一桩打击，对此，他的反应相当激烈。他在一篇送朋友的随笔里，不无夸张地写道：“侯子既放，涉江返棹，栖乎高阳之旧庐，日召酒徒饮醇酒，醉则仰天而歌《猛虎行》，戒门者曰：‘有冠儒冠、服儒服，而以儒术请间者，固拒之。’于是侯子之庭，无儒者迹。”
南京秋试既是他一生挫折的开始，也是一生爱情的发轫。在金陵，在秦淮的烟水之间，侯方域邂逅了一个和他的名字从此紧密相连的女子。他和这个女子的爱情故事，后来成为中国历史上最优秀的剧作——《桃花扇》的蓝本。
这个女子就是李香君。
李香君名李香，时人称为香君，因了几十年后孔尚任的《桃花扇》而名留青史。但是，值得注意的是，《桃花扇》尽管取材于真实的历史，却并不等同于历史本身，历史上的李香也并非尽如《桃花扇》所刻画的形象。
历史的冷酷在于，经过了时光的过滤后，后人再也无法真正进一步地对先人的悲欢离合感同身受，甚至他们能记起先人的名讳，往往也不是因为对他们有多么深刻的洞察与理解，而是因为这些先人有某些令后人稍感兴趣的经历以供谈资。比如侯方域，于今天的大多数人——包括术业有专攻的知识分子——恐怕知之者甚少；纵使有知道者，也是因为香艳如斯的李香君，顺便也才记住了李香君的男朋友侯方域。多年以后，当侯方域历经丧乱，重回老家归德，在无限的感慨中以诗酒自伤自娱时，他为这位曾经的情人写过一篇千余字的传记，他把李香君称为李姬，记录了他们已然消失的爱情传奇。