不过在此之前，他们需要找到自己要去的正确时间点。
最后，他们分了三个小队，分别寻找六颗无限宝石。
托尼、史蒂夫、斯科特、班纳和云向笛前往2012年外星人入侵时的纽约，寻找时间、空间、心灵三颗无限宝石，因为数量较多，所以他们最后决定到那之后就分成两小对。
其中托尼、史蒂夫、斯科特负责寻找时间宝石和空间宝石，当时复仇者联盟打败了齐塔瑞星人后又抓住了洛基，收缴了他的法杖还有宇宙魔方。而宇宙魔方就是空间宝石，洛基的法杖杖芯则是心灵宝石，所以他们只要在这两样东西被神盾局拿走之前偷到就可以了。
云向笛和班纳则被分到一起去找斯特兰奇要时间宝石，因为至尊法师的职责就是保护世界，所以他们猜测在齐塔瑞星人大肆进攻纽约的时候，斯特兰奇一定会出现杀敌。所以届时他们只要前往纽约圣殿，就可以找到他，然后向他借用阿戈摩托之眼，也就是时间宝石。
火箭和托尔则前往2013年的阿斯加德，他们要寻找的是现实宝石。那个时候托尔的前女友简.福斯特就在阿斯加德，而她的身体里正携带着以太粒子，也就是现实宝石。所以只要找到简，就能找到现实宝石。