김상옥은 일찍 아버지를 여의고 불우한 환경에서 성장해 14세부터 낮에는 철공장에서 일하고 밤에는 야학에서 공부했다. 1912년 동대문 밖 창신동에서 영덕철물점을 운영했는데 그의 초기 사회적 활동은 상당히 시대를 앞서갔다고 볼 수 있다.
김상옥은 철물점을 경영하며 사업가로서의 수완을 발휘하여 독립자금을 조달했다. 또한, 종업원들에게 노동조합을 통해 자신들의 권익을 찾을 수 있게 도왔다. 그런 김상옥에게 사람들은 ‘동대문 홍길동’이라는 별명을 붙여주었다.
철물점을 운영하면서도 무장투쟁을 위해 자신을 단련하여 조선인 여학생을 희롱하는 기마경찰을 맨손으로 때려눕혀 검을 빼앗을 만큼 무술에도 능했는데, 당시 총 솜씨는 말 그대로 ‘명사수’라 불릴 만큼 비범했다.

김상옥이 본격적으로 독립운동에 투신한 것은 3·1 운동 직후다. 1919년 4월 동대문교회 안에 있던 영국인 피어슨 여사의 집에서 ‘혁신단’이라는 비밀결사를 조직하고, 그해 12월에는 암살단을 조직하여 일본 고관이나 민족 반역자에 대한 응징 및 숙청을 시도했다. 그러던 중 1920년 8월 24일, 미국 의원단이 동양 각국을 시찰하는 길에 내한한다는 소식이 들려왔다. 그해 5월부터 김상옥은 김동순, 윤익중, 신화수, 서대순 등의 동지를 이끌고 미국 의원단을 환영하기 위해 나오는 사이토 마코토 총독과 일본 고관들을 암살하는 계획을 추진했다. 하지만 거사 계획은 실행에 옮겨지기도 전에 일본 경찰에게 탐지되고 말았다. 동지들이 체포되는 바람에 김상옥은 단독으로 거사를 추진하려 했으나 여의치 않자, 10월 말 상하이로 망명했다. 그리고 11월에 임시정부 요인 김구, 이시영, 조소앙, 신익희 등과 독립운동 거사 계획에 참여하는 동시에 의열단에 입단했다. 1922년 11월 중순 상하이에서 임시정부 요인 이시영, 이동휘, 조소앙, 김원봉 등과 의논하여 조선 총독 및 주요 관공서에 대한 암살과 파괴를 목적으로 하는 계획을 치밀하게 세웠다.

1923년 1월 12일 밤 종로경찰서에 누군가 폭탄을 던져 아비규환의 수라장이 되었다. 이 투탄으로 건물 일부가 파손되고 행인 남자 6명과 여자 1명이 중경상을 입는 등 큰 소동이 벌어졌다. 그러나 당시만 하더라도 의거의 주인공이 누구인지는 일본 경찰도 정확히 모르고 있었다. 이로부터 5일 후인 1월 17일에 일본 경찰은 폭탄 투척의 장본인을 알아내고 은신처를 추적했다. 그러던 중 1월 17일 새벽 3시 김상옥의 은신처인 매부 고봉근의 집이 종로경찰서 수사주임에게 탐지돼 종로경찰서의 무장경찰 20여 명이 은신처를 포위했다. 사실 이 일은 고봉근의 행랑방에 들어 살던 여자가 종로경찰서에 있는 친정 오빠에게 밀고하여 탄로 난 것이었다.
은신처가 탄로 나자 김상옥은 단신으로 두 손에 권총을 들고 총격전을 벌였다. 먼저 종로경찰서 형사부장을 사살했고, 몇 사람에게 중상을 입힌 뒤 추격하는 일본 경찰에게 사격을 가하면서 가옥의 옥상을 건너다니며 도주했다. 눈 덮인 남산을 거쳐 금호동에 있는 안장사에 잠입하여 스님에게 승복과 짚신을 빌려 변장하고 산에서 내려왔다. 18일에는 이모 집에서 유숙하고 19일 새벽에 삼엄한 경찰들의 경계망을 피해 효제동에 사는 여성 독립운동가 이혜수의 집에 은신했다. 이곳에서 동상을 치료하면서 앞으로의 거사 계획을 구상했다.

그러나 1923년 1월 22일 새벽, 최후의 은신처마저 일본 경찰에게 탐지되고 말았다. 당시 상하이로부터 온 서신을 「혁신공보」 발간 때부터 김상옥과 함께했던 전우진이 효제동으로 전달하게 되었다. 하지만 이 과정에서 전우진이 일본 경찰의 수사망에 걸려들었는데, 그는 끝내 고문을 견디지 못하고 은신처를 알려준 것이다. 그날 5시 반경 서울 시내 4개 경찰서에 총비상령이 내려졌다. 기마대와 무장경관 400여 명이 은신처를 중심으로 효제동 일대를 겹겹이 포위했다. 결사대가 지붕을 타고 집 안으로 들어왔으며 김상옥은 미처 피신하지 못하고 벽장 안에 숨어 있었다. 총지휘관인 구리다 경부가 방으로 들어와 벽장 안을 열어젖히는 순간 김상옥에게 가장 먼저 사살당했으며, 김상옥은 벽장 담을 뚫고 순식간에 옆집 74번지를 지나 76번지로 피신했다. 그러나 겁에 질린 집주인이 소리를 지르며 저항하자 다시 담을 넘어 72번지로 갔고, 이후 담벼락 뒤에 몸을 숨긴 채 권총 두 자루로 3시간 반 동안 총격전을 벌였다. 그러나 탄환이 떨어지자 마지막 남은 탄환 한발을 머리에 대고 벽에 기댄 채 ‘대한 독립 만세’를 부르면서 자결, 순국했다.
이후 가족이 시신을 수습했는데, 열한 발의 총상을 맞은 상태였다고 한다. 이때 스스로 쏜 총알 한 발을 제외하면 열 발의 총알을 맞은 것이 된다.

일본 철혈통치의 핵심인 악명 높은 종로경찰서에 폭탄을 투척하고 수백 명의 일본 군경에 혼자 맞서 총격전을 벌일 정도의 인물임에도 안타깝게도 그의 이름은 대중에게 잘 알려지지 않았다. 그러던 중 영화 「암살」과 「밀정」이 만들어지면서 김상옥 의사의 존재가 대중에게 알려졌다. 보통 독립투사의 의거를 기리는 행사를 할 때 ‘의거 기념식’이라는 표현을 쓰고, 사망자들의 경우 순국 ‘추모식’이라는 단어를 쓰지만, 김상옥의 경우 사망일이 1월 22일임에도 ‘순국 추모식’이라는 말 대신 ‘시가전 승리 기념식’ 또는 ‘독립활동 기념식’이라는 단어를 쓴다.
비록 일본 경찰과의 서울 시내 총격전을 벌이고 마지막 남은 한발로 자결했으나 ‘시가전’이라는 이름이 붙을 만큼 혁혁한 공로를 세웠고 당시 일제에 준 충격이 엄청났기 때문이다. 이 때문에 어떤 역사가들은 그의 활약으로 일본에 억눌려 있던 우리 민족이 저항 의지를 되찾았고, 이후 항일 무장투쟁을 위한 발판을 마련했다고 평가하기도 한다. 또한 그 당시 일본 경찰이 김상옥을 얼마나 두려워했는지 보여주는 이야기가 전해진다. 김상옥은 마지막 총알로 자결한 후에도 양손에 쥔 권총을 놓지 않았다고 한다. 이 모습을 본 일본 경찰은 김상옥이 혹시 살아 있을까 두려운 마음에 선뜻 다가가지 못했다고 한다. 결국, 김상옥의 어머니를 보내 생사를 확인하게 했다고 한다.
현재 대학로 마로니에 공원에 김상옥 의사의 동상이 있으며, 종로4가 북쪽 효제초등학교 앞길은 그의 이름을 딴 ‘김상옥로’로 명명됐다.