ตั้งขึ้นเมื่อเดือนตุลาคม พ.ศ. 2520 ตามพระราชกฤษฎีกาแบ่งส่วนราชการกรุงเทพมหานคร ฉบับลงวันที่ 19 พฤษภาคม พ.ศ. 2520 ได้กำหนดให้แยกหน่วยงานที่รับผิดชอบเกี่ยวกับการระบายน้ำออกจากสำนักรักษาความสะอาด ให้รับผิดชอบโดยตรงเกี่ยวกับการระบายน้ำฝน ป้องกันน้ำท่วมและกำจัดน้ำเสีย
ปัจจุบันสำนักการระบายน้ำได้มีการปรับปรุงโครงสร้างการแบ่งส่วนราชการและหน้าที่ความรับผิดชอบตามแผนอัตรากำลัง 5 ปี (ปีงบประมาณ พ.ศ. 2540 – 2544) โดยแบ่งส่วนราชการดังนี้
1. สำนักงานเลขานุการ มีหน้าที่รับผิดชอบเกี่ยวกับงานสารบรรณและธุรการทั่วไปของสำนัก งานช่วยอำนวยการและเลขานุการ การดำเนินการด้านการบริหารงานบุคคล งานการคลัง งานนิติกรรมและสัญญา ตลอดจนการให้คำปรึกษา แนะนำ และวินิจฉัยปัญหาข้อกฎหมาย การเผยแพร่ประชาสัมพันธ์ การดำเนินงานตามโครงการต่าง ๆ และงานอื่นที่ไม่ได้อยู่ในความรับผิดชอบของกองใดโดยเฉพาะ และปฏิบัติหน้าที่อื่นที่เกี่ยวข้อง
2. กองพัฒนาระบบหลัก มีหน้าที่รับผิดชอบเกี่ยวกับการกำหนดแผนงานและโครงการป้องกันน้ำท่วม การระบายน้ำและการบริหารพื้นที่น้ำท่วม การออกแบบและวางโครงการระบบระบายน้ำ การควบคุมดูแลงานก่อสร้างเกี่ยวกับการป้องกันน้ำท่วมของสำนักระบายน้ำ ได้แก่ สถานีสูบน้ำ ประตูระบายน้ำ ท่อระบายน้ำขนาดใหญ่ พื้นที่เก็บกักน้ำ การรวบรวมและนำเสนอแผนงานและโครงการด้านการระบายน้ำ การป้องกันน้ำท่วม การติดตามและประเมินผล การปฏิบัติงานตามแผนงานและโครงการต่างๆ
3. กองสารสนเทศระบายน้ำ มีหน้าที่รับผิดชอบเกี่ยวกับการปฏิบัติการป้องกันและแก้ไขปัญหาน้ำท่วม โดยดำเนินการรวบรวมข้อมูลเกี่ยวกับระบบป้องกันน้ำท่วมในพื้นที่กรุงเทพมหานครและปริมณฑลจากศูนย์ย่อย ซึ่งตั้งอยู่ที่สถานีบังคับน้ำต่างๆ กระจายอยู่ทั่วพื้นที่กรุงเทพมหานคร และศูนย์คอมพิวเตอร์ของกรมชลประทาน กรมอุตุนิยมวิทยา ผ่านเครือข่ายสื่อสารด้านคอมพิวเตอร์ และข่ายสื่อสารจากรายงานของผู้ปฏิบัติการ เพื่อสนับสนุนการดำเนินการของหน่วยปฏิบัติ การจัดทำระบบสรสนเทศภูมิศาสตร์ เป็นศูนย์กลางที่ควบคุมระบบเครือข่ายคอมพิวเตอร์ และศูนย์เทคโนโลยีสารสนเทศของสำนักการระบายน้ำ การวิเคราะห์วิจัย โดยใช้แบบจำลองทางคณิตศาสตร์ เพื่อศึกษาพฤติกรรมของน้ำ ในการวางแผนการปฏิบัติการป้องกันน้ำท่วม
4. กองระบบอาคารบังคับน้ำ มีหน้าที่รับผิดชอบในการวางแผน ควบคุม กำกับ ดูแล การปฏิบัติการป้องกันและแก้ไขปัญหาน้ำท่วมในเขตกรุงเทพมหานคร และปริมณฑล การกำหนดการตรวจสอบ ซ่อมบำรุง ควบคุมระบบระบายน้ำ สถานีสูบน้ำ เครื่องสูบน้ำ ประตูระบายน้ำ และการถ่ายเทน้ำ และปฏิบัติหน้าที่อื่นที่เกี่ยวข้อง
5. กองระบบท่อระบายน้ำ มีหน้าที่รับผิดชอบ เกี่ยวกับการวางแผน ควบคุม และดำเนินการเกี่ยวกับการบำรุงรักษาระบบระบายน้ำ ได้แก่ ท่อระบายน้ำ บ่อสูบน้ำ เพื่อป้องกันแก้ไขปัญหาน้ำท่วมในเขตกรุงเทพมหานคร การปรับปรุงระบบระบายน้ำ การปิดเปลี่ยนฝาท่อระบายน้ำ การผลิตอุปกรณ์ท่อระบายน้ำ ตลอดจนการป้องกัน และแก้ไขปัญหาน้ำท่วมในพื้นที่เขตกรุงเทพมหานคร และปฏิบัติหน้าที่อื่นที่เกี่ยวข้อง
6. กองระบบคลอง มีหน้าที่รับผิดชอบเกี่ยวกับการวางแผนโครงการต่างๆ เกี่ยวกับการบำรุงรักษาคลอง การปรับขุดลอกคลอง ตรวจสอบการขออนุญาต การร้องเรียนเกี่ยวกับคูคลอง การก่อสร้างเขื่อนริมคลองและทำนบไม้ การเก็บขยะวัชพืช การบำรุงรักษาแหล่งรับน้ำ ตลอดจนการป้องกันและแก้ไขปัญหาน้ำท่วม ในส่วนที่เกี่ยวข้องกับระบบคลอง
7. กองจัดการคุณภาพน้ำ มีหน้าที่รับผิดชอบเกี่ยวกับการควบคุมสภาพน้ำเสียในเขตกรุงเทพมหานคร โดยทำการศึกษาตรวจสอบวิเคราะห์ วิจัย แก้ไขปัญหาอันเกิดจากน้ำเสีย ควบคุมการทำงานของระบบบำบัดน้ำเสีย และพัฒนาระบบบำบัดต่างๆให้มีประสิทธิภาพ ดำเนินการตรวจสอบ และควบคุมคุณภาพน้ำทิ้งจากอาคาร ตลอดจนควบคุมคุณภาพน้ำตามแหล่งน้ำสาธารณะต่างๆในกรุงเทพมหานคร
8. กองเครื่องจักรกล มีหน้าที่รับผิดชอบในการจัดหา ควบคุม และให้บริการเครื่องสูบน้ำ เครื่องจักรกล และเครื่องมือกล และยานพาหนะทุกประเภท การจัดหาเก็บรักษา และควบคุมพัสดุเครื่องมือเครื่องใช้และอุปกรณ์ต่าง ๆ รวมถึงอะไหล่ วัสดุเชื้อเพลิงและหล่อลื่น การซ่อมและบำรุงรักษาเครื่องสูบน้ำเครื่องจักรกล และยานพาหนะทุกประเภท และปฏิบัติหน้าที่อื่นที่เกี่ยวข้อง