요시오는 시마네현 출신으로, 게이오기주쿠 대학 경제학부를 졸업하였다. 1947년, 중의원 의원 선거에서 처음으로 당선됐으며, 한 때 참의원으로 활동하였으나, 부친 유키오의 뒤를 이어 구 시마네 현 전체구에서 중의원 선거에 출마해 17번 연속으로 당선되었다.
개진당(改進党) 소속 시절에 나카소네 야스히로와 함께 주목받았고, 자유민주당 안에서는 고노 이치로(河野一郎) 파벌에 속했고, 1964년에 이케다 하야토 내각에서 통산대신으로 첫 입각하였다. 고노의 사후, 나카소네 파벌의 간부가 되어, 농림대신, 건설대신, 국토청 장관, 자유민주당 정조회장(自民党政調会長), 외무대신, 자유민주당 간사장 등의 요직에서 활동하였다.
오히라 내각과 스즈키 젠코 내각에서 간사장으로 있었고, 나카소네의 총리 재임 중에 파벌 회장 자리를 맡았다. 1989년, 리크루트 사건에 관여한 혐의로 나카소네가 탈당한 후에도 한동안 파벌을 맡았다.
1990년 2월, 중의원 의장이 되었고, 같은 해 12월에 재단법인 일본 프로스포츠 협회 초대 회장이 되었다. 파벌 회장 자리는 와타나베 미치오에게 양보하였으며, 국회에서 활동하다가 2000년에 정계에서 은퇴하였다. 그는 동시에 은퇴한 하라 겐자부로(原健三郎)와 함께 메이지 시대에 태어난 마지막 국회의원이었다.
요시오는 다카라즈카 가극단의 팬으로 알려져 오랫동안 애보회(愛宝会)의 회장을 맡은 것 외에, 일본 카누 협회 회장, 일본 국제무역촉진협회(日本国際貿易促進協会) 회장, 세계연방운동(世界連邦運動) 추진 단체인 세계연방일본국회위원회(世界連邦日本国会委員会)의 회장 등을 지냈다. 2003년, 호흡 부전으로 91세의 나이로 사망하였다.
