1921年10月，蒋先云与夏明翰、蒋啸青等6人一同加入中国共产党，成为湘南地区第一批共产党员。1924年，第一次国共合作期间，黄埔军校(中国国民党陆军军官学校)初创，来自全国各地的有志青年前来报考，其中就有投笔从戎的蒋先云。黄埔军校的考试要求十分严格，报考者要经过初试、复试、总考试三关，总考试包括国文、数学、历史、地理等科目。蒋先云最终从1200余名参加总考试的优秀青年中脱颖而出，以第一名的成绩成为黄埔军校一期学生。
蒋先云入学后，按照国共两党合作的决策，也参加了国民党，从而成了跨党党员。这位文武双全的学霸，门门考试稳居第一，创造了黄埔军校历史上的奇迹，深得黄埔军校校长蒋介石和政治部主任周恩来的赏识。军校毕业后，蒋先云选择留校任蒋介石的秘书。在国共第一次合作期间，蒋先云做了大量有利于两党合作的政治工作，调和了两党之间的关系。根据学习成绩、社交能力和战斗中的表现，师生们将一期学员中的佼佼者蒋先云、陈赓、贺衷寒并称为“黄埔三杰”，蒋先云名列“三杰”之首。
好景不长，1926年3月20日，中山舰事件爆发，国共关系出现转折。蒋介石调动军队戒严广州，逮捕李之龙，包围苏联顾问所，驱逐黄埔军校及国民革命军中以周恩来为首的共产党员……蒋先云作为一个跨党党员，被迫做出抉择。
蒋介石多次对蒋先云表达惜才爱才之情，并以官权相诱。但蒋介石没想到，他的得意门生竟公然与自己对抗。军校礼堂上，蒋先云带头站起高声宣布：“我蒋先云，是共产党员，永做共产党员！头可断，共产党籍不可牺牲！”随后，一个又一个的军官站起来，公开自己共产党员的身份，宣布退出国民党。
1927年初，蒋介石反革命阴谋日益暴露，蒋先云倡议成立黄埔学生反蒋委员会，任湖北省工人纠察总队队长率部北上河南。5月28日，在攻克临颍城的战斗中，蒋先云英勇牺牲，年仅25岁。