中山義秀は岩瀬郡大屋村（現白河市大信）に生まれた。金透小、安積中学校に学んだ。安積中学（現安積高校）で不当な処分を受け、官学を嫌って早稲田大学に進学した。横光利一に兄事して作家を目指したが、作風からか長く苦節の時代を過ごす。
38歳の時、『厚物咲』で第７回芥川賞を受賞。審査員に久米正雄がいた。この作品は2人の老人をめぐる人生の葛藤を菊の花を配して描き高い評価を受けた。その後、『碑』で幕末から明治の時代に翻弄される斑石兄弟を描いて作家の地位を不動のものにした。
郡山の麓山公園の歴史を描いた『残照』は、二本松藩の剣術家根来父子が藩主の贅沢を諌めて牢死する物語で、信念に生きる姿を描き印象深い作品である。
歴史小説に定評があるが、太平洋戦争を描いた『テニヤンの末日』や戦後の日本の裏磐梯を背景に描いた『七色の花』等、時代を見据えた作品も多い。亡くなる直前まで「芭蕉庵桃青」の執筆に取組み新境地を開いたが未完となった。