古希腊是一个神话王国，优美动人的神话故事和曲折离奇的民间传说，为古奥运会的起源蒙上一层神秘的色彩。有关古代奥运会起源的传说有很多，最主要的有以下两种：一是古代奥林匹克运动会是为祭祀宙斯而定期举行的体育竞技活动。另一种传说与宙斯的儿子赫拉克勒斯有关。
赫拉克勒斯因力大无比获“大力神”的美称。他在伊利斯城邦完成了常人无法完成的任务，不到半天工夫便扫干净了国王堆满牛粪的牛棚，但国王不想履行赠送300头牛的许诺，赫拉克勒斯一气之下赶走了国王。为了庆祝胜利，他在奥林匹亚举行了运动会。
关于古奥运会起源，流传最广的故事则是佩洛普斯娶亲的故事。古希腊共和国伊利斯国王为了给自己的女儿挑选一个文武双全的驸马，提出应选者必须和自己比赛战车。比赛中，后有13个青年丧生于国王的长矛个青年正是宙斯的孙子和公主的心上人佩洛普斯。在爱情的鼓舞下，他勇敢地接受了国王的挑战，终于以智取胜。
为了庆贺这一胜利，佩洛普斯与公主在奥林匹亚的宙斯庙前举行盛大的婚礼，会上安排了战车、角斗等项比赛，这就是最初的古奥运会，佩洛普斯成了古奥运会传说中的创始人。实际上，奥运会的起源与古希腊共和国的社会情况有着密切的关系。公元前9～公元前8世纪，希腊共和国氏族社会逐步瓦解，城邦制的奴隶社会逐渐形成，建立了200多个城邦。
城邦各自为政，没有统一君主，城邦之间战争不断。为了应付战争，各城邦都积极训练士兵。斯巴达城邦儿童从7岁起就由国家抚养，并从事体育、军事训练，过着军事生活。战争需要士兵，士兵需要强壮身体，而体育是培养能征善战士兵的有力手段。战争促进了希腊共和国体育运动的开展，古奥运会的比赛项目也带有明显的军事烙印。
连续不断的战事使人民感到厌恶，普遍渴望能有一个赖以休养生息的和平环境。后来斯巴达王和伊利斯王签订了“神圣休战月”条约。于是，为准备兵源的军事训练和体育竞技，逐渐变为和平与友谊的运动会。
在古希腊，有四大祭礼竞技赛会，其中以祭祀万神之王宙斯神的奥林匹克运动会规模最大、延续时间最长、名声最高。在古希腊所有的运动会中，没有一个比奥运会更受到希腊人的重视，也没有一个运动会的参加者比奥运会更广泛，奥运会在古希腊人心目中是整个希腊民族精神的象征，其延续时间之长，影响之深远，在人类历史上是罕见的。