COBOLプログラムは、部(DIVISION)として知られる、それぞれ独自の目的を持つ4つの主要なコーディング領域で構成されている。
部は様々な節(SECTION)で構成され、節は1つ以上の段落(PARAGRAPH)で構成される。更に段落は完結文(SENTENCE)で構成され、完結文は1つ以上の文(STATEMENT)で構成される。
このプログラム構成要素の階層構造により、すべてのCOBOLプログラムの構成が標準化される。このマニュアルの大部分は、COBOLプログラムを構成する様々な部、節、段落、および文について説明している。