Lư sinh người Hồ Nam, cha mẹ mất sớm, chỉ để lại mảnh đất bạc màu, trồng cây chẳng ra trái, trồng lúa chẳng trỗ bông. Học hành không tới nơi tới chốn nên lỡ sĩ lỡ nông. Được có bộ dạng khá khôi ngô, lại được tài ăn nói, bèn ra chợ viết mướn “kiêm” coi tướng độ nhật. Dù vậy, ngày thăng ngày giáng, kiếm ăn vất vả.