李香的一番话，说得侯方域既惭愧又高兴，他“大呼称善，醉而卧”，而王将军则“殊怏怏，因辞去，不复通”。侯方域在李香的劝说下，识破阮大铖欲收买自己为他作说客的企图，此事自然引起阮大铖的强烈不满。数年之后，当李自成于崇祯十六年（1643）攻陷湖北时，负责该战区防务的左良玉引兵退守九江，继而以九江粮尽而扬言将东下南京。左良玉部队纪律极为败坏，南京市民异常惶恐。由于左良玉曾经是侯方域之父侯恂部下，与侯家乃世交，南京兵部尚书熊明遇请侯方域代其父侯恂写信，要求左良玉打消进逼南京的想法。但此事却被阮大铖歪曲并大做文章，声称此乃侯方域邀约左良玉进驻南京。一时间，不明真相者群情激愤，侯方域为了躲避不测之灾，只得逃离南京。
考诸史料，目前所见到的资料都只能证明，侯方域与李香的爱情乃是有始无终——他们于1639年相识相交并相爱，大致也于当年就因侯方域落榜回老家归德而不再有任何往来。他们为何不再往来，史料付诸阙如。不过，他们分手时的一段故事，却是颇为动人的佳话：
侯方域离开南京前，李香在桃叶渡为之饯行。席间，李香为侯方域唱了一曲《琵琶》。李香唱曲之前，对侯方域说：“公子才名文藻，雅不减中郎。中郎学不补行，今《琵琶》所传词固妄，然尝昵董卓，不可掩也。公子豪迈不羁，又失意，此去相见未可期，愿终自爱，无忘妾所歌《琵琶》词也。妾亦不复歌矣！”