吕方一行人离了这村，也不去剩余的地方了，直接回县城。丹阳县城以西南二百四十步有一废城，地势险要，控制要冲。现在只剩余高台和上面的残垣断壁了，当地百姓称之为刘繇城，乃是东汉末年，刘繇为扬州刺史，但是扬州的州治所在寿春为袁术所占，于是刘繇筑城于此，有众数万人，号令江南，后来为孙策所破。吕方到丹阳之后，嫌原先的县城格局太小（可能是刘繇城地势易守难攻，中央政府害怕成为地方割据势力的抗拒中央的凭借，于是平毁迁到平地），地势不够险要，便重新把幕府建立在刘繇城之上，让士卒们在刘繇城内修筑营房，准备到了农闲时节在重新筑城。在县城之中只留了100名士卒维持秩序。