南越国内部不稳的消息，很快就传到了汉武帝的耳朵里，对于安国少季的无能，他很是不满意，那么强大的匈奴，都被我撵着屁股揍，一个小小的南越国都搞不定，也太有损我大汉朝的威严了。
话虽然是这样说，可汉武帝觉得，毕竟南越王赵兴和樛太后都已决心归顺汉朝了，现在只是一个吕嘉在搅局，也犯不上我兴师动众，估计派点人过去吓唬吓唬，也就搞定了。汉武帝派出了庄参，让他率领两千人马前往南越国。
可没想到，这个庄参有自己的想法，陛下，如果我们是去友情谈判，那几个人就够了。如果想去用武力征讨，那这两千人有什么用哪？所以庄参坚决不去，把汉武帝气的，就罢了庄参的官，另寻他人出使南越国。
大汉朝那么多的人，有不愿意去的，就有愿意去的。有一个叫韩千秋的壮士说了，一个小小的南越国，芝麻大的地方，国王和太后都心属大汉，就一个丞相不老实，只要给我两百勇士，我就能去南越把吕嘉的人头擒来，献给陛下。
汉武帝很欣赏韩千秋，就在公元前112年，汉朝派出了韩千秋和樛太后的弟弟樛乐，让二人率兵两千人前往南越。本来吕嘉也只是一直在策划谋反，还没敢行动，在得知韩千秋的兵马进入南越之后，他决定不等了。
谋反总是要有个理由的，吕嘉向全国宣传，当今的南越国王太年轻了，什么都听太后的，可这个太后还不是什么好人，她不但但是中原人，还和汉朝使者有奸情，她是一心想把南越国送给汉朝。太后为了讨好汉朝，打算把我们先王积攒来的好东西都送给汉朝皇帝，不但这样，她还打算把我们的人带到长安去，把我们南越人卖给汉朝人当奴隶。太后根本就没有把南越国当成自己的家，根本就没有为赵氏和南越国考虑，所以为了南越国，我要造她的反。
这南越国人本来就心向吕嘉，加上太后确实做的不到位，再加上吕嘉这么一忽悠，南越国百姓都成了吕嘉的支持者。吕嘉也抓住时机，和自己的弟弟带兵攻进了王宫，他这次可是没有客气，把赵兴和樛太后都给杀了。当然了，汉朝的使者也未能幸免。
南越王没了，可吕嘉还没有胆子自己坐这个位置，他把赵婴齐的长子，也就是赵兴的哥哥赵建德立为新的南越王，而后把这件事通告给了南越国各个地方官吏，那意思很明确，我这次行动不是为了自己。
这个时候，韩千秋也得道了吕嘉谋反的消息，既然内应已经不存在了，那干脆就打吧。韩千秋就率领军队一连攻下了好几个城镇，之后南越人就更配合了，他们根本就不抵抗，还一路给汉军送去吃的喝的，就这样，韩千秋的两千大军顺利的深入南越腹地，在大军走到距离南越国国都番禺（今广州市）40里地方的时候，南越军民更是加倍的热情主动，他们搞了个突然袭击，韩千秋的两千人马全军覆没。
考虑到汉朝不好惹，吕嘉派人把汉朝使者的符节收拾好，用木匣装起来，还在里面附上一封请罪信给自己辩解，说什么我们是逼于无奈、这都是误会之类的话。估计汉朝人也不好骗，吕嘉又派出了大量军队，驻守在和汉朝交界的边境之上。
这消息传到汉武帝那里，汉武帝被气坏了，这不但一种失败，更是一种屈辱啊。他这时候才明白，自己太轻视这个南越国了，汉武帝马上下令安抚死难者的家属，还发放了抚恤金。当然这样是不够的，他还要集结重兵，要南越国连本带利给我还回来。
就在同一年的秋天，汉武帝征集了一些囚犯和江淮以南的水兵共计十万人，兵分五路去攻打南越国。
这第一路，伏波将军路博德帅军从长沙国贵阳（今湖南境内）出发；
第二路，楼船将军杨仆从豫章郡（今江西境内）出发；
第三路和第四路，任命两个归降汉朝的南越人为将，一个是戈船将军，一个是下厉将军，让他们率兵自零陵（今湖南境内）出发；
第五路，命驰义侯率领巴蜀的囚犯外加夜郎国的军队，从西南出发。
