1964年，為緩解牛欄山中學（現牛山一中）生源過多難以容納的困難,決定在牛欄山地區再建一所中學，即牛山第二中學。
1965年3月寒假后，從牛欄山中學撥初一、初二共計337人到牛山二中就讀。同時有教師26人到牛山二中工作。當時只有初中學生。
1969年，牛山二中曾招收一屆“農中”學生，開設了農機、農醫和電工共三個班，學生總數46人。后又招收了3、4屆。牛山二中的“農中”于1976年前后敗落。
1971年春季，牛山二中增設二年制高中班，每屆招收1-2個班。
1982年，順義縣進行中學的重新布局，把原順義西北片的普通高中歸到牛山二中，至此，牛山二中成為當時順義縣九所完全中學之一。80年代末，牛山二中學生數量達到千余人，教師數量100人以上。并新建教學樓和擴建了操場。
進入21世紀，學校發展更加迅速，全校維持在24－28個教學班，1100－1300學生，110位教師。
2009年順義區進行高中的重新布局，7月我校高中師生合并到牛欄山一中，只留下初中部，到2009年9月暑假開學，學生總數77人，教師36人。由完中校轉為初中校。