任何东西都有自己的结构。那些几十层高的大楼所以能够稳如泰山，是因为它从地基、梁柱到房顶，有一套完整而严密的结构。音乐用音符组成，也要求重视曲式结构。
音乐中能独立存在、表达完整意思的最小单位称为乐段。短小的歌曲有的只由一个乐段构成。乐段可划为更小的单位，那就是乐句，一个乐句通常是四个小节。在乐句末尾往往有小的停顿，演唱歌曲就在这里换气。乐句如再细分，又可划分为乐节与乐汇。乐节大多为两个小节，乐汇多为一个小节甚至更短。
歌曲的第一句，往往是全曲的核心、出发点，称为歌曲的音乐主题。比较大型的乐曲，音乐主题可能是一个乐段。
在整个音乐作品的前面，可能有前奏，又称引子，最后可以有后奏，又称尾声。不同的乐句或乐句之间，可以用间奏加以连接。间奏又称过门。简短的过门，叫小过门。