岭南的越人也断发文身，多为穴居，从事渔业和简单的农业生产，部落之间好相攻击，整体处于尚未开化的野蛮状态。越族虽然人数众多，但农业经济不发达，处于刀耕火种的原始状态，没有充足的物质条件作为用兵和大规模战争的补给。而且越人分为众多部落，分居于中国南部纵横几千里的范围内。在当时的中原人眼中，是一群未开化的蛮族。
　　秦始皇称帝以后，消灭六国的刀剑无法冷却。他开始谋划扩大华夏疆土。最早的目标，就是岭南的“百越之地”。
　　公元前218年，秦始皇派大将赵佗、屠睢带领50万大军南下，去征服岭南地区的越人各部落。出乎意料的是，战争进行得很不顺利，英勇的越人部落进行了坚决的抵抗，使秦军遭到沉重打击。甚至主帅屠睢也被越人杀死。
　　赵佗汲取教训，推行“和揖百越”的民族亲和政策，团结越族部落的头人、酋长，逐步得到越人的拥戴。 越人分为众多部落，缺乏统一的领导，在军事上没有形成一个核心力量，部落之间又不断地相互征伐，近似一盘散沙，难以形成强劲的一致对外的政治、军事同盟。这一切都决定了其无力抵抗。公元前214，秦国通过战斗和收买，终于成功地平定了百越之地。
　　秦国开始在岭南地区设立政权，秦朝在岭南置南海、桂林、象三郡。秦始皇接受了赵佗等人的建议，从中原地区向岭南迁徙罪徒、赘婿及未婚女子共计50万人，与越杂处，从此秦朝版图包括现在的广东、广西地区。
　　秦始皇开始有组织地大量向岭南移民。这是秦一贯奉行的移民实边政策。最初令军队留戍岭南，落户定居。由于北方人初去不服水土，死亡率很高，征兵不易，因而改用“滴戍”的办法从内地强迫移民。“滴戍”就是对“有罪者”实行充军、流放，其对象是有罪官吏、逃亡者、赘婿、商人、曾有“市籍”的、父母曾有“市籍”、祖父母曾有“市籍”的，称之“七科滴”。
　　从史料记载看，秦王朝有组织地向岭南移民共有4次，第1次是公元前213年，秦政府“发诸尝道亡人、赘婿、贾入，略取陆梁地(岭南)”。这次是随军滴发，配合军事占领，在三郡安置这些移民，这是人数最多的一次。

　　第2次是公元前212年，“适(滴)治狱吏不直者，筑长城及南越地”。秦时官吏判案不符合法律规定叫“不直”。这次把南越地与筑长城并提，可知是强迫有罪官吏在岭南从事筑路、筑城等建筑工程。
　　第3次是公元前211年，“益发滴戍边”。这句记载虽未明言去处，但不外北边和南边，南边当指岭南；第4次是210赵佗上书请求从内地遣送“亡夫家者青年女子三万人，以为士卒衣补。”秦始皇给他弄了15000名寡妇。这15000名青年女子，当然当然不仅要为士兵缝衣服，还要和士兵们组成家庭。他们构成华夏人落籍岭南的一万五千户人家。对待这些民户，后来汉高祖刘邦曾经颁布诏令:“前时秦徙中县民之南方三郡，使与百粤杂处。”

　　秦代迁往岭南的华夏之民数量不少，他们中既有一定文化知识的犯罪官吏，又有善于进行物品交换的商人，更多的是掌握了中原先进生产技能的农民和手工业者。他们给岭南社会带来了文化和生产技术，增加了大量劳动力，为岭南的开发增添了新的活力。
　　这些汉族在进入岭南以后，大量和当地土著通婚。今日，南方汉族与北方汉族在长相上的差别较大，很多外国人一眼就看出中国北方人和广东人之间的相貌差异。然而对DNA进行检测发现，南方汉族今天的Y染色体的类型与北方基本没有差别，O3型Y染色体非常常见。这是因为早期前往岭南的汉族多是男性，他们后来多娶岭南土著女子为妻。生下的后代，继承了北方人的Y染色体，和一部分岭南土著的相貌特征。

　　秦统一以前，五岭山脉成为阻塞南北的天然障碍，从中原到岭南没有道路。公元前212年发配有罪官吏在岭南从事的苦役，主要是筑路，所筑的陆路就是岭南“新道”。在水路交通方面的建设，主要是开凿灵渠。这项工程从向岭南用兵开始，至公元前213年通航，使长江上的船只可以经湘江，过灵渠进入漓江、桂江南下，取西江东行而抵达番禺，或溯得江西行而抵布山、临尘，使水道纵横的岭南无所不通。 秦采取的开新道和凿灵渠，不仅是当时军事上的一项重大战略性措施，而且对于加强岭南与内地的联系，打破岭南的闭塞局面，促进岭南的开发，都起了极其重要的作用。

　　广东话里‘佬’这个名词，来自于古南越语言的“俚”、“獠”。“俚”、“獠”是秦汉时岭南二十余郡蛮夷土著人的族名泛称。后来，岭南汉族也用这个词来自称。 于是“乡巴佬”等词汇进入了汉族词库。
　　汉武帝时，中国人曾经达到扩张历史上的顶点。中国军队曾经扩张到云南、中亚、朝鲜半岛，但是后来都很快失去了。汉朝最有价值的扩张是吞并了福建地区的闽粤国。汉武帝的大一统思想，使福建实实在在成为中国的领土。汉族在福建的经营，切断了台湾的高山族与大陆其他南岛语系民族的带状分布。
　　闽越国位于今天的福建省。其居民属百越族的一支。秦始皇统一中国后，保留了闽越首领的自治权，对其内政不予干预。秦末大乱，闽越王无诸曾率兵北上中原，参与楚汉战争。汉朝建立后。闽越王无诸多次扩大领地，成为汉朝劲敌。
　　公元前110年，闽越王余善自立为帝，发兵叛汉。汉武帝调遣数十万人围攻闽越国。闽越国贵族杀死国王后降汉。汉武帝下令，把闽越国全体国民都迁往江淮地区，并焚毁闽越国的城池宫殿，永绝后患。闽越地区几乎成为无人区。
　　福建地形崎岖，布满原始森林，不利于农业开发。所以汉武帝无意经营管理。当时东南沿海一带，从宁波向南数千里，居民基本上仍是以越族为主。到西汉后期才把福建纳入会稽郡。东汉末年，这一带还不是“汉地”。
　　晋代永嘉之乱，中原士族“衣冠南渡”，其中有“林、陈”等八姓入闽避难。今天，“林、陈”是福建、台湾人口最多的两个姓氏，台湾有“陈林半天下”的说法，就是那时的影响。公元547年，侯景之乱时期，由于南京、九江、扬州等城市都被破坏，又有大批难民入闽避难。闽地的人口渐渐充实。

　　公元733年，唐玄宗设福建经略使，福建之名才在历史上出现。唐代，福建的人口与经济规模渐长。公元896年，中原发生黄巢之乱，唐朝军官王审知率领一支军队逃往福建，开始新一轮入闽的移民潮，史称“十八姓从王”。这是福建历史上最重要的一次移民。当年随王审知入闽的军队约5000人。而随部队而行的家属，以及跟随逃难的吏民人等总数约有三万人。这些人在福建拓疆辟土，发展福建的经济和文化，繁衍生息，使福建成为中华民族繁荣富庶的福地。