Но предсказания акул пера не сбылись. Хотя контракт с Honda и запрещал Валентино прикасаться к Yamaha M1 до окончания календарного года, зимняя программа подготовки прошла ударными темпами. И к весне на руках у Росси был вполне пригодный для гонок байк. Главное, что не учли в HRC, вместе с Валентино в Yamaha перешла вся его команда во главе с Джереми Бёржессом. Спустя несколько лет, JB так описал причину, побудившую его покинуть Honda: "Я увидел в его [Росси] глазах такой блеск, что незамедлительно дал положительный ответ - он был готов на все, и я заразился этим энтузиазмом..." Дополнительным стимулом для Валентино стало то, что на его место в Honda Racing пришли Бьяджи и Жибернау - давние соперники.
Зная всю подноготную про RC211V, Росси и Бёржесс включились в борьбу за титул, совершенствуя YZR-M1 от гонки к гонке. Близкое сотрудничество с главным разработчиком проекта Коичи Тсузи позволило команде опытным путем найти оптимальную конфигурацию двигателя и довести до небывалого уровня отдачу энергии. Команда вернулась к эксплуатации 4-клапанного двигателя взамен, казалось бы, более совершенного 5-клапанного, изменила порядок зажигания. Получился необычный "screamer", который впоследствии назвали "long bang" из-за того, что поджиг производился через каждые 180 градусов.
На модифицированном M1 Росси выиграл первый трофей - родстер BMW на "нулевом" этапе MotoGP 2004 года в Каталонии. Первый этап в Сузуке был отменен из-за непогоды, так что чемпионат стартовал в Южной Африке. Валентино выиграл гонку в Welkom‘е, а затем еще восемь! В конце сезона он заработал 304 очка и стал чемпионом - впервые вместе с Yamaha. Жибернау и Бьяджи проиграли ему по 47 и 87 очков. Чемпионский титул 2005 года также остался у Росси, который завершил сезон с невероятным отрывом от соперников в 147 очков.
В 2006 Yamaha столкнулась с некоторыми проблемами, которые не позволили Валентино выигрывать так легко. Долгое время команда боролась то с недоработками в шасси, то с покрышками: новое шасси оказалось слишком жестким, так что покрышки просто не выдерживали нагрузки. Сезонные доработки не могли решить всех проблем, и избавившись от "chatters", Росси столкнулся с неисправностями в переходном моторе. Так или иначе, но в октябре Валентино занимал вторую позицию и мог выиграть титул, но легкое падение в Валенсии дало преимущество Никки Хейдену из Repsol Honda.