Nhà tù Sơn La do thực dân Pháp xây dựng năm 1908 với diện tích ban đầu là 500 m2. Nhà tù xây dựng khá kiên cố: tường được xây dựng bằng đá lẫn gạch, mái lợp tôn, không có trần, giường nằm cho tù nhân cũng được xây bằng đá, mặt láng xi măng, mép ngoài được gắn hệ thống cùm chân dọc theo chiều dài của sàn. Trong mỗi phòng giam đều có hố xí nổi được xây cao hơn sàn nằm, không có nắp đậy, không có nước dội, không được vệ sinh thường xuyên. Với lối thiết kế như vậy, mùa hè những đợt gió Lào của vùng Tây Bắc gây nên cái nóng như thiêu như đốt, những đợt sương muối tạo ra cái lạnh giá, rét thấu xương thịt vào mùa đông cộng với môi trường ô nhiễm ở mỗi phòng giam đã làm bệnh tật phát sinh và lây lan rất nhanh chóng trong tù nhân.
Năm 1930, Đảng cộng sản Việt Nam ra đời và lãnh đạo nhân dân vùng lên đấu tranh chống lại chế độ tàn bạo của thực dân phong kiến. Phong trào đấu tranh đã làm kẻ địch bất ngờ, chúng lồng lộn tìm đủ mọi cách đàn áp, bắt bớ những người Việt Nam yêu nước hòng dập tắt phong trào cách mạng. Mặt khác tăng cường xây dựng và mở rộng thêm hệ thống nhà tù trong cả nước trong đó chúng đặc biệt chú ý đến nhà tù Sơn La. Năm 1940, Nhà tù Sơn La được mở rộng thêm một trại giam lớn để giam thêm tù nhân và đưa một số tù nhân nữ lên Sơn La nhưng âm mưu đó đã không thực hiện được.
