上个世纪 60年代以后这里的水坑和洼地被逐渐填平，并开始建设居民区，几年的时间就出现了一大片居民区，并以“潘家窑”之名而称。但叫了没有多久，人们就觉得不雅，因为老北京人通常将妓院叫“窑子”，所以就改为“潘家园”，这个“园”字，便是“家园”的意思，并将附近新修的道路称为潘家园路。后来在修建三环路时，在潘家园东侧修建了一座立交桥，便得名“潘家园桥”。到了民国后期，这一带的土被用得差不多了，只留下许多大水坑和洼地，再取土烧砖很是困难，于是潘家窑暂时关闭，不久便迁到了房山一带。
早年间破落的大户子弟出卖祖传字画珍宝之类，要顾及面子，不能公开销售，所以就选择鬼市，以后小偷也常到鬼市销赃，还有一些来路不正的东西，出现在鬼市上。这样，鬼市成了人们撞大运的所在，说不准能花很少的钱，买到很贵重的东西。
上世纪90年代初，潘家园自发形成了一个旧货市场，当地居民在路边上摆摊，把家里的瓷器、旧家具等东西拿出来卖。后来，外地的商贩也慕名而来。最早来潘家园的一批人，只有100个摊位，其中北京人不过20来人，其余的人都来自天津、唐山、石家庄。初期的100个摊围绕着潘家园大土堆摆摊，那时多是卖自行车座、自行车车把、自行车加速轴、缝纫机头、旧家具等，也有少量的古书古字画。
鬼市又叫夜市、晓市，说的是凌晨三四点钟专卖古董的一种临时集市。之所以大早晨成市，是因为这个钟点警察管理不严，可以脱手一些来路不明的物件。当时有一些贵族沦落到变卖家产为生的地步，面子上又拉不下来，为躲避熟人，也就到“鬼市”上捧着古董站街。所以古董行都知道，鬼市出好货。当时照明条件有限，买卖双方谁也看不清谁，此外不吆喝，不亮字号，天明就散，行为近似于鬼，故称鬼市。
开市以后，虽然人多，但市场并不喧哗，大家都在窃窃私语。老顾客人手一只手电筒，本意是为了把货看得更清楚，这都是从上辈子传下来的规矩了，现在倒不必那么隆重，因为潘家园市场的灯非常亮。但手电筒是必须要带的，这只是一个标志，说明买家懂行。当然也有抠门点的，就用废纸生火堆，几次差点出了火灾。
为何那么早开市？除之前留下来“鬼市”传统，据分析，还因为当时从河北、天津到北京的长途车在潘家园有一站，大概是凌晨两点到，那些河北、天津的摊贩到了后，直接到潘家园卖货，这样就不用住店，省一天店钱。另一个原因是它离劲松近，当时北京住宿不好找，劲松的旅馆一晚上才10元钱，对于天津、河北的商人来说，潘家园是最方便的地方。
正如坊间流传的一句：“这儿的物品多得只有你想不到的，没有你找不到的。”在潘家园，衡水的鼻烟壶、杨柳青的年画、江苏的绣品、东阳的木雕、曲阳的石雕石刻、山东的皮影、江西的瓷器、宜兴的紫砂、陕西的青铜器、云南的服饰、西藏的佛教用品、新疆的白玉、台湾的交趾陶……小到铜钱，大到过人高的石雕石刻；小到几平方米的地摊，大到考究的古典家具厅，包罗万象，琳琅满目，汇聚一堂。
有时候还会有新鲜出炉的“果子”，全凭个人眼力。
凌晨三点多，我就叫醒了黑子。黑子正在打着呼噜，做着美梦，一脸不情愿的被我拉了起来。打了个车往潘家园赶去。因为酒店距离潘家园很近，打车不到十分钟。这时鬼市上已经是人影涌动，热闹非凡了。
既然做古董这个行当，没货可不行。虽然我们不靠这个挣钱，但怎么说也要倒腾一些撑门面货色。因为学了几年考古，对于古董这些东西倒也不陌生，虽然眼力还差的很远，却也勉强能分辨出一些真假。最多价钱上吃些亏，只要不买到假货就行了。