自杨康身亡后，郭靖怜惜其子孤苦无依，便同黄蓉商量，欲不计前嫌带杨康之子杨过回桃花岛。
黄蓉虽因杨康之事而对杨过心怀芥蒂，但架不住郭靖苦苦恳求，只好答应下来。
杨过收拾了行囊，便随父亲口中常提到的郭靖伯父到了桃花岛，到了岛上，虽然郭靖时常开解，但杨过仍然放不下父亲之死，暗下决心要寻得杀父仇人，与其对武，以报仇雪恨。
他这决心十分坚定，是以习武也愈发勤快，这日，他正在偷练义父欧阳锋教授他的蛤蟆功，没练一会儿，就看到郭芙带着自己的两个小跟班潇潇洒洒、悠然自得地走过来。
看到这娇美可爱的女童，杨过心中只余厌恶，他自以和郭芙无冤无仇，哪知道刚被郭伯父带回桃花岛时，郭芙便无缘无故抽了他一巴掌，虽是不疼，但是极伤人的颜面。
杨过并不想搭理她，想偷偷溜走，不想被武氏兄弟一左一右拦住，想走都走不得。
“杨过，你在这里做甚？”郭芙看见他，岂会放过，必会刁难他一会。
杨过转过身，眼睛向上看，就是不看郭芙，“我做甚么，关你屁事”
郭芙在这桃花岛上，就是个小霸王的存在，谁胆敢触她霉头，就得倒霉，郭芙看他这样一副油盐不进的模样，再想起母亲黄蓉千叮咛万嘱咐，一定不要和杨过结好，要小心提防才是，顿时心头火起。
“两个哥哥，快帮我教训教训这个不知天高地厚的小子……”郭芙拍拍手，示意武氏兄弟帮自己出头。
武氏兄弟自从上了桃花岛，也算是受了郭靖和黄蓉两夫妇的恩惠，自然也对郭芙唯命是从，听她此言，马上就同杨过扭打在一起。
三个人混战在一块，尘土飞扬，滚在地上泥里，好不难看，郭芙却看得津津有味，尤其是看到杨过双手难敌四拳，被武氏兄弟左一拳，右一拳痛打时，更是笑着拍掌。
“臭王八，让你笑……”杨过看到她这个幸灾乐祸的模样，再想起刚上岛时的那一巴掌，怒不可遏，随手抓起一团泥巴就扔了过去。
这团泥巴不偏不倚，正好扔在郭芙娇美的小脸上，郭芙反应过来，大叫一声，哭哭啼啼地去找母亲黄蓉做主。
杨过被五花大绑，罚跪在地上，郭芙还在屋里哭啼，这种情态，让杨过得意极了，让你横。
“好芙儿，别哭了别哭了，小心哭坏了身子……”黄蓉拿了帕子，耐心为爱女擦拭泪珠，看见爱女郭芙哭得如此可怜兮兮，不免更加恼恨杨过这个小崽子，和他父亲真是一个德行，果然恶有恶相。
“娘亲，你可要为芙儿做主，必要好好教训一下这小子，今天他敢向芙儿扔泥巴，说不定……说不定下次就是要芙儿的命了，芙儿不想死，不想离开父亲娘亲……”
郭芙偷偷看了一眼黄蓉脸色，见她十分恼怒，心中窃喜，面上更装出一副可怜模样，惹人怜惜。
黄蓉听爱女哭嚎得如此凄惨，当即给了杨过二十鞭子，把杨过打得皮开肉绽还不罢休，找到郭靖，直言要是不送走杨过，那她便带着郭芙和武氏兄弟离开桃花岛，另寻别处过日子。
“蓉妹，这如何使得……万万不可，此事还有得商量嘛”郭靖耳根子软，对黄蓉向来没法子，急急忙忙拦住黄蓉，小心翼翼出声。
黄蓉叹了口气，“靖哥哥，我如何不知道你对杨康这个兄弟心怀愧疚，但他的死完全是咎由自取，我无法怜惜他的儿子，更何况现在芙儿和杨过水火不容，今天还打起来了”
“你若不依我的意思，我只得带着芙儿和武家两个小子离开，从此不再回桃花岛”
她说得坚定，郭靖素知道她的脾性，深知此事不可回转，思量一会后，便应下了。
“蓉妹，再给我一些时间，我得好好安顿过儿才是，不然我愧对杨康……”郭靖留下这话，便匆匆忙忙去找杨过，看他浑身上下没一块好肉，急忙给他上药。
看这情景，杨过是绝不能再留在桃花岛上了，要不然蓉妹还不知道会怎么对付他。
郭靖看着面露痛苦之色的杨过，心里有了主意。
他昔日因为一些奇遇，也算是与终南山下的全真教有一些情谊，不妨将杨过送去全真教，那里也是个人杰地灵之处，或许可以磨练磨练杨过的怪吝性子，使其向善……
杨过对于郭靖所思所想，一无所知，他伤好了之后，便要独自离开桃花岛，从今以后浪迹天涯，四海为家。
不想黄蓉竟然拦下他，郭靖出口，说明要送他前往全真教的事。
“我才不去那个什么劳什子全真教，都是一群伪君子罢了，有什么资格教导我？”杨过说罢便要离开，黄蓉见状，担心他离开桃花岛后，重拾恶习，干脆把他绑了，送上马车。
郭靖便同黄蓉一起，带着杨过前往终南山。
这一路上杨过对黄蓉怒目而视，又叫又骂，黄蓉也不搭理，给杨过准备饭食也不上心，还是郭靖好声劝导，让杨过好歹吃些东西，免得饿伤了身子。
“靖哥哥，管这小崽子做甚……”黄蓉手里拿着酒坛，这上好的女儿红后劲极烈，她同郭靖成亲并生下芙儿后，极少饮用这些烈酒，现在一碰，收不住手，很快便醉了。
看着郭靖高大威猛的身躯，黄蓉身子一热，娇媚脸蛋薄红一片，美目含羞带怯地看着郭靖。
郭靖也情不自禁，身下已经有了反应，他见杨过已经吃饱喝足，阖上眼皮昏昏欲睡—难为这孩子，被绑着还能睡得如此香甜，便一把抱起黄蓉，进了另一侧的屋子里。