允祥十四岁丧母。在康熙帝诸皇子中，是较早失去生母的皇子之一。生母亡故后，允祥被交由当时的德妃、也就是雍正帝的生母乌雅氏代为照料。允祥与雍正帝自**好，应该是受此影响很大。这样，不仅方便了允祥与雍正帝的相处，也使他们在一起的时间比别的兄弟要多。允祥死后，雍正帝在亲自所写的允祥祭文中说过：“忆昔幼龄，趋侍庭闱，晨夕聚处。”少小之时两人的交往，有利于兄弟之情的培养和儿时纯真友谊的建立，为两人成为关系最密切的兄弟打下了基础。
    雍正帝比允祥年长八岁，曾受皇父康熙帝之命教授允祥算术。兄弟二人常就算术问题“日事讨论”，这种情景应该给彼此留下了深刻印象，也有利于兄弟之情的加深。
    稍长后，允祥开始追随康熙帝出行，雍正帝也经常随行。据《清圣祖实录》记载，允祥与雍正两人一起多次视察过河工。雍正帝也曾说过他与允祥“每岁塞外扈从，形影相依。” 可见，允祥与雍正帝在少年时期结下的情谊并没有随着二人年龄的增长而淡泊，相反，是在继续向前发展。康熙后期，因为种种原因，康熙帝出巡，允祥不再时时跟随。雍正帝单独扈从时，允祥便以诗相赠，世宗妥善收藏，共计三十二首，后来，下令将这些诗收入自己的御制诗集，以传永世。由此，我们可以看出，二人的关系绝非一般兄弟可比。
    允祥去世后，雍正帝的第五个儿子弘昼，在祭文中提到，他在八岁时得了重病，险些丢了性命，是允祥给他找到了良药，救了他的命。雍正帝对弘昼说：“汝命，叔父所活也，宜呼之为父。”此后，允祥对弘昼也是愈发疼爱。这也可反映出允祥与雍正帝在分府成家后，关系依旧良好，来往密切。
    康熙后期，诸皇子为争夺皇位，互相倾轧，兄弟之情、手足之谊所剩无几。雍正帝与弟弟允禵本就不和。即位后，允禵照旧对他冷言以对。以允禩为首的皇八子党，因夺位失败更是对他怀恨在心，虎视眈眈。在雍正帝心中，与允祥的情谊应该是很大的安慰。允祥全力辅佐，处处以雍正之心为心办事，雍正帝对允祥越发信赖、倚重，兄弟加君臣，关系更为密切。雍正元年（1723）三月，就新分发给允祥的工匠、太监等的钱粮问题，内务府裁定按例给发二年，后来又通知允祥请雍正恩典，雍正帝为此大怒，认为“甚属不合”，下令将有关人等交吏部、刑部查明缘由，严加议罪。当时主管内务府的是雍正帝的十六皇弟、刚刚受恩承袭庄亲王的允禄。①从这件事也可看出雍正对允祥的特别爱护。
    允祥在雍正帝心中地位非同寻常。允祥在雍正朝是“造办处的最高领导人”，向雍正进献的礼物很多，也深为雍正帝所喜爱。雍正将允祥所献“另储一室”，还令总管太监记明档册。在允祥去世的当天，雍正也开始着手为自己准备后事。雍正八年（1730）五月初四日，雍正帝下谕：“当年太皇太后赐朕数珠一盘，现在养心殿内收着，还有圣祖阿玛赐朕的数珠一盘，尔等查来。同此小匣内玻璃鼻烟壶一件，归于一处，交在自鸣钟好生收着，再传谕尔总管首领太监等众多人知道才好。如朕万万年之后，将此三件安于梓宫内，尔总管处及自鸣钟好生记载档案。”三个对象中的鼻烟壶就是允祥送给雍正的礼物之一。雍正对礼物的珍视，充分体现了对允祥情分的珍爱。允祥是雍正最亲密的皇弟，当之无愧。