第二次起义失败后，中共立即准备第三次发动。在工人中间召开工人代表会，筹备选举市政委员，同时组织起五千人的工人纠察队。陈独秀提出，起义的发动，不能太早，必须一、上海已无驻兵；二、北伐军到松江后仍前进，或待至到龙华。彭述之大呼“太迟缓了”，最后陈独秀决定：一、松江下；二、苏州下；三、麦根路与北站兵向苏州退。“三条件有一个就决定发动。”

3月6日晚，陈独秀与罗亦农匆匆赶到钮永建办公处，与纽永建、吴敬恒、杨杏佛等人会晤。对于北伐军在上海的胜利，大家都坚信不疑，但国民党担心共产党把上海的罢工与暴动，变成一场共产主义革命。无政府主义者出身的吴氏，认为在中国实行共产主义，两百年尚嫌不足，否则急切轻挂招牌，只是赝品。

陈独秀：“现在哪里行共产，行共产不是疯子么！”

吴敬恒：“你定中国实行列宁式共产主义是若干年？”

陈独秀毫不迟疑：“二十年。”

当初越飞对陈公博说过，苏联在六十年内能否实现共产主义，尚属疑问，陈独秀的信心，比越飞强多矣。吴敬恒不禁倒吸一口冷气：“若你们共产党急迫至此，未免取得国民党的生命太快了一点。”

双方的思想、观点、立场，全然不同，虽然同坐在一间房子里，言必称同志，行必称盟友，但无异咫尺天涯。而上海大暴动，就是由这样一批各具怀抱的人，勉强凑在一起，共同策划着。

上海市人民代表会筹备委员会亦同时向全市发布命令：“我上海市全体市民：北伐军将到上海，我市民急当起来，响应北伐军，消灭军阀残余势力，建立民众政权 国民政府指挥下之民选市政府。兹由本会全体常务委员会会议决定3月21日正午12时起，各界市民一致动作，宣布总同盟罢工、罢市、罢课，专特飞报，仰我全体市民一体遵照执行，不得迟延，此令。”上海总工会发布了“各业工人行动起来”行动纲领。总指挥部设在宝山路横浜桥南商务职工医院内。

3月21日正午12时，停泊江中的轮船和全市的工厂，同时拉响汽笛，几十只系有铃当的鸽子，在各区腾空起飞。上海八十万市民总同盟罢工、罢市、罢课开始了！“一切工厂、商店、学校、轮船、火车和市内的一切电车、汽车、电报和电话都中断了 整个租界立即陷入死一般的寂静，租界内的工人群众和一部分店员均于一个小时前涌入华界，华界上的马路和广场都成为群众的集合地点”。

由于上海已笼罩着改朝换代的空气，许多厂主、店主都主动关门停业，因此，罢工人数较前两次大增。下午1时半左右，南市区打响了起义的第一枪。激烈的巷战爆发了。工人纠察队以小南门救火会钟声为号，分三路包围淞沪警察厅，攻打第二区警察署和沉香阁路警察二区一分署，攻占南区街分署和铁路南站等。下午3时，各路工人纠察队、自卫团、海军起义人员在江南造船厂及高昌庙兵工厂前会师，包围驻厂的直鲁军，迫其全部缴械投降。

而闸北的直鲁联军抵抗最顽强，出动大炮和装甲车，入夜仍然战况激烈，枪声通宵不止。陈独秀担心起义再次失利，在深夜时曾下令闸北的武装工人撤到大场，以避免不必要的牺牲。但他的命令没有被执行。

3月22日天亮以后，工人纠察队向北洋军的最后据点北车站勇猛进攻。附近居民都把家中的棉被、麻袋、砖石、木板送给工人纠察队架设障碍物。各路队伍十几万人，有如浪奔潮涌，把车站团团围住，经过两天一夜的血战，暴动工人完全占领北站。

当天，上海市民代表会议召开，宣布上海特别市临时政府成立，由钮永建、虞洽卿和上海商业储蓄银行总经理陈光甫、上海商业储蓄银行董事王晓籁等19人，担任临时市政府委员（其中共产党员九人，工人代表一人，国民党及绅商代表共九人）。会议制定了《市政府组织条例（草案）》，规定全市最高权力机关为上海特别市市民代表会议，代表会议产生的政府隶属于国民政府。以淞沪商埠公署原管区域及原有租界为范围，上海特别市暂分为八个区。23日，推钮永建、白崇禧、杨杏佛、王晓籁、汪寿华五人为市临时政府常委。25日，武汉国民政府正式批准任命。

对上海工人来说，占领上海，只完成了一半任务，另一半是建立工人政府，这个任务落空了。武汉急急忙忙批准新政府成立，其动机与迁都武汉一样，是想抢在蒋介石之前，造成一个既成事实，把他的去路堵上，逼他就范。至于这个政府是工人当家，还是商人当家，都不要紧，只要它拥护武汉政府就行。

远东局预料，“在国民革命军抵达上海后，在这里必然会形成实际上两个政权的局面”，他们认为，“除了人民代表会议，不提供，至少形式上不提供建立第二政权的机会要有利的多”。 蒋介石要来，也只能纳入人民代表会议。但这又是一厢情愿，蒋介石要在上海另立一个政府，根本无须别人提供机会，凭他手里的枪杆子就可以。

3月21日，白崇禧驱师入城，兵不血刃，进驻上海华界。第一师薛岳驻守闸北，他的立场颇为左倾，对工人十分友好，上海一度成为赤旗飘扬的天下。3月23日，上海召开二十万人欢迎国民革命军大会。会场上，大人们挥舞旗帜高唱：

打倒列强！打倒列强！

除军阀！除军阀！

国民革命成功！国民革命成功！

齐欢唱！齐欢唱！

小孩子们则蹦蹦跳跳，跟在大人的后面唱：

大饼油条！大饼油条！

脆麻花！脆麻花！

两只铜板一枚！两只铜板一枚！

刮刮叫！刮刮叫！

“革命是被压迫者和被剥削者的盛大节日。”这句话，他们今天算是亲身体会到了。同一天，南京的北军主动撤走，东路军第六军与第二军第四师同样不费一枪一弹，施施然进驻南京。当时东路军一位军人自豪地写道：“革命军在一般人民心目中的声光与钦仰，简直不可以形容，尤其是第一军。当时所谓五皮主义 大约是皮包、皮带、皮靴、皮鞭、皮绑腿。青年军人更是一般美丽女孩子们追求的对象。”

然而，处在权力高层的人们，感受就完全不同了。3月28日，李宗仁到了上海，他所目睹：“全市群众运动悉为共产党所操纵。工会拥有武装纠察队千余人，终日游行示威，全市骚然，稍不如意，便聚众要挟，动辄数万人，情势汹汹，不可终日。”这种场景，令李宗仁大感震骇，蒋介石也“认为上海情形已无法收拾”，面色沮丧地连呼：“我不干了，我不干了。”