郭世通是会稽永兴人。十四岁时丧父，服丧期间悲痛欲绝。家里穷，给人家帮工来养活继母。他妻子生下一个男孩，夫妻俩怕因此无力供养继母，就流着泪把孩子活埋了。继母死后，他背土堆成坟墓。有亲戚给他一些资助，他也多少收下一点儿，葬完母亲以后，便去替人作亻庸工先把债还了。丧服期满后，思念母亲终身都像刚办丧事时一样，未脱过孝衣孝帽。仁孝之风，影响了乡邻，邻村无论老少没有直呼其名的，都对他表示尊敬。他曾和别人在山阴集市上做买卖，算错账多得了一千钱，当时没有察觉，分手以后才知道，于是赶紧追上那人还给他，那人惊叹不已，把一半送给他，世通把钱扔在地上就走。元嘉四年(427)，皇帝的使臣巡行天下，散骑常侍袁愉上报了他的美德，宋文帝表示嘉许，下诏在他家乡张贴文告表彰他，免除他的租调。把他住的地方独枫里改名为孝行。太守孟靑举荐他为孝廉，他没去应召。