时间一长，几种势力联合起来就形成了较为庞大的武装走私集团，也就是海商集团。 当然空船跑不来金银财宝，还得有货物才行，所以这些海商走私集团，必须以沿海的豪门大姓为依托，帮助他们囤积及销售货物。虽然大明律严禁民间进行出口贸易，但在利益的驱动下，一切法律都是空文。而且正德年间，法纪松弛，海禁形同虚设，成为了这些大海商发展的黄金岁月。 根据五十岁以上的老吏们回忆，那个年代官方贸易的宁波市舶司还在，民间的私下贸易更是红火的不得了，东南的富家大族纷纷开设工场、茶场、瓷窑，雇佣大量的百姓进行生产，再将囤积起来的货物倒卖给海商，由海商销往西洋，大家各司其职，走私货物得以较顺利地运销，彼此均有利可图。 在这期间，大量的曰本人从战成一锅粥的国内逃出来，加入了海外贸易之中，成为十分好用的打手兼打工仔，对东南沿海的威胁并不大，所以整个正德年间，虽然朝廷的海防卫所已经烂透了，却是出奇平静的一段时期。 但是，很多事情都是毁在这个‘但是’上，后来发生的‘曰本使节争贡事件’，原本只不过是个较严重的外交事件，却被当时的首辅夏言归咎于市舶司，认为是对外贸易频繁，外国人进出太多造成的混乱，并轻率地予以关闭。 这种愚蠢之极的做法，结果只是减少了官方的大量关税收入，却使私下的走私更加猖獗，海商的实力也变得益发强大起来，完全成为东南最大的一伙政治、经济集团，也深受东南各界的欢迎。 据时人描绘，在嘉靖二十九年以前，东南的官府明知对方是走私贩，但贪图其厚利，任其堆货，且为其打点护送，‘关津不查不问，明送火铳资贼。