Насколько я знаю, МАСМ (как и все мелко-мягкое), закрыт. Однако в свободном доступе. Так что писать МАСМ нецелесообразно - и нарушение авторских прав, и пустая работа одновременно.
По поводу изобретения колес - есть например
FASM, ИМХО замечательный ассемблер, и вдобавок открытый. Так что поглядеть на исходники вполне можно. Правда он написан на самом себе, и синтаксис немного отличается от MASMа. Также есть NASM (YASM), который тоже открыт.
З.Ы. Поглядеть код фасма можно в теории. На практике, ИМХО, тому, кто сможет это прочитать, надо нобелевскую премию давать...
З.З.Ы. И все-таки для ассемблера он скорее транслятор, чем компилятор.