لما وصل إلى أبي ذر خبر بعثة النبي صلى الله عليه وسلم، قال لأخيه: اصعد وسر إلى هذا الوادي وهو وادي مكة فاعلم لي خبر هذا الرجل الذي يدعي أنه نبي، ويأتيه الخبر من السماء، واسمع من كلامه ثم تعال لي، فذهب أخوه حتى جاء وادي مكة، وسمع من كلامه صلى الله عليه وسلم، ثم رجع إلى أبي ذر فقال له: رأيته يأمر بمكارم الأخلاق، وسمعت منه كلامًا ليس بشعر، فقال له أبو ذر: ما جئتني بما أردت، فحمل طعامًا وقربة فيها ماء، حتى جاء مكة، فأتى المسجد الحرام فبحث عن النبي عليه الصلاة والسلام وهو لا يعرفه، وكره أن يسأل عنه قريشًا فيؤذونه حتى دخل عليه أول الليل، فرقد فرآه علي رضي الله عنه فعرف أنه غريب، فذهب به إلى المنزل، فلم يسأل واحد منهما الآخر عن شيء حتى أصبح أبو ذر، ثم حمل قربته وطعامه إلى المسجد، وجلس ذلك اليوم ولم يره النبي عليه الصلاة والسلام حتى جاء المساء، فرجع فرقد، فمر به علي فقال: أما حان للرجل أن يكون له منزل معين يسكنه؟ أو أراد دعوته إلى منزله، فأقامه من مرقده فذهب معه، لا يسأل واحد منهما صاحبه عن شيء، حتى إذا جاء اليوم الثالث، فعاد علي فأخذه إلى منزله، فذهب معه ثم قال له علي: ألن تخبرني لماذا جئت إلى هنا؟ قال أبو ذر: إن أعطيتني عهدًا وميثاقًا لتدلني إلى مقصودي أخبرتك، فأعطاه العهد فأخبره، قال له علي: فإنه حق، وهو رسول الله صلى الله عليه وسلم، فإذا أصبحت فاتبعني، فإذا رأيت شيئًا أخاف عليك منه فسأعمل وكأني أصب الماء، فإن واصلت فاتبعني حتى تدخل مكان ما أدخل ففعل أبو ذر ذلك، فذهب يتبعه حتى دخل على النبي صلى الله عليه وسلم ودخل أبو ذر معه، فسمع من قوله وأسلم من مكانه، فقال له النبي عليه الصلاة والسلام: ارجع إلى قومك غفار فأخبرهم بشأني حتى يأتيك أمري، وإنما أمره بالكتمان خوفًا عليه من قريش، قال أبو ذر: والذي نفسي بيده، سأصرخ بكلمة التوحيد بين جموعهم، فخرج حتى أتى المسجد الحرام، فنادى بأعلى صوته: أشهد أن لا إله إلا الله، وأن محمدًا رسول الله، ثم قام القوم فضربوه حتى أرقدوه على الأرض، وجاء العباس بن عبد المطلب رضي الله عنه فرمى نفسه عليه وقال: ويلكم ألا تعلمون أنه من غفار، وأن طريق تجاركم إلى الشام، فستمرون عليهم وقد يقطعوا طريقكم، فأنقذه منهم، ثم رجع في اليوم التالي وفعل مثل فعله، فضربوه وهاجوا عليه، فرمى العباس نفسه عليه.