军校由校总理、校长和驻校党代表组成全校最高领导机构，直隶国民党中央执行委员会。孙中山自任军校总理，蒋介石任校长，廖仲恺任党代表。廖、蒋两人是孙中山当时的人才夹袋中最佳的文武搭配。廖仲恺自同盟会起即追随孙中山从事革命。孙中山联俄容共及改组国民党，廖更是极力赞助和推动，出力尤多。蒋介石则是此时孙中山身边仅有的对军事事务有相当了解的人。1920年朱执信被害之后，孙中山对蒋介石尤其寄予厚望。他在给蒋的一封信中说："执信忽然殂折，使我如失左右手。计吾党中知兵事，而且能肝胆照人者，今已不可多得。惟兄之勇敢诚笃，与执信比，而知兵则又过之。" 1922年陈炯明兵变，蒋随侍孙中山于永丰舰而深得孙的信任。奉命赴俄考察军事后，蒋对苏联红军的组织体制比一般人更多一层亲身感受。蒋自然成了黄埔军校校长的合适人选。在廖仲恺遇刺殒命以前，作为党代表的廖对校长蒋的权力是一大制衡。
军校设政治、教授、教练、管理、军需、军医各部。政治部主管政治教育、党务和宣传，先后以戴季陶、周恩来、汪精卫、邵力子、熊雄为部主任，张崧年(申府)、邵元冲、鲁易为副主任；教授部和教练部分管军事学科和术科的教学与训练，以王柏龄、叶剑英为教授部正、副主任，李济深、邓演达为教练部正、副主任。1924年11月，增设教育长一职，以胡谦任之(继任者有王柏龄、何应钦、邓演达、方鼎英等人)，承校长之任处理校务；12月又增设参谋处长一职，委钱大钧任之，以赞襄军务。1925年1月，教授、教练二部合并为教育部，与政治部并立，其他各部均改为处。
按照一般的军事教育程序，初级军官教育，大约需要3年左右的时间。黄埔军校为适应革命形势的急切需要，将学制大大缩短，学生入学后只受1个月的入伍教育(第4期开始改为半年)和6个月的正式教育。黄埔第1期统为步兵科，第2期以后陆续增设工兵、炮兵、辎重兵、骑兵、宪兵以及政治、经理、交通、无线电和航空等各科。
黄埔军校招生时，注意打破地域观念，按省区分配招生名额。前3期学生2259名，分别来自全国22个省。学生教育程度大多是高小及中学文化程度。
在联俄政策下，军校财政、武器和制度的建立，均得到苏联的大力赞助。鲍罗廷和一批苏联专家直接参与了军校的筹建和顾问工作。孙中山在军校开学典礼上致词说："俄国在六年之前，一经发动革命，便同时组织革命军，以后着着进行，所以能够消灭旧党和外来的敌人，大告成功。我们现在开办这个学校，就是仿效俄国。"
黄埔军校不同于当时中国一般军校的最大特色是建立俄国式的政治工作制度。军事与政治训练并重，是黄埔军校的双重目标。军校不仅要养成职业军官，而且要培植革命干部。学生不仅要学习军事知识，而且要明了政治、经济和党纲、主义，"不仅知道枪是怎样放法，而且要知道枪向什么人放。" 军校设立政治部和党代表，就是其独特之处。
政治部主要负责对学员进行政治教育，提高学员的政治修养，向学员灌输革命知识。蒋介石宣称："本校唯一的特点，就是有个政治部，政治部是要使军人了解现在的经济政治与明了主义。" 军校政治教育既讲三民主义，也讲社会主义。1925年10月27日公布的军校党代表训令中明文规定："关于社会主义、共产主义、马克思主义书籍，以及表同情于本党或赞成本党政策而极力援助本党之一切出版物，除责成政治部随时购置外，本校学生皆可阅读。" 军校政治课程最初开设8门，后增至18门，最多时达26门。所开课程除国民党的历史、主义、组织和政纲政策外，还包括国际国内政治经济状况，各国革命史和社会主义运动，政治学、经济学和其他社会科学的基本知识以及民众运动等方面的内容。学员的培养目标不是一般的职业军官，而是"革命军事人才"。
党代表的职权，主要是监督和指导各级军事长官的工作，必要时可以直接指挥军队。各级军事长官的报告和命令，必须经党代表副署。军事长官所发布的命令如有明显错误时，党代表有拒绝签字，乃至撤销其命令之权。在法理上，军队长官只有治军的"能"，党代表却有管军的"权"。文职的党代表和职业军官之间的"权""能"分开，乃为了抑制后者的军权过度膨胀。当然，这一制度在具体实施过程中不可能达到设计所预期的效果，但政治部和党代表制度的推行，至少在军校的政治思想训练和精神教育方面发挥相当的作用。
除党代表制度外，军校还建立了党的组织系统。军校规定所有员生均需加入国民党。1924年7月，军校成立国民党特别区党部，1925年9月，改为特别党部，直属国民党中央党部领导。校党部下设分部、小组，定期召集会议。黄埔学生军成立后，特别党部制度继续得到贯彻，连及连以上设立各级党部。学员必须同时受军纪和党纪的约束。
