Theo Joan Baker (nhà khoa học từng là chủ tịch hiệp hội thiết bị siêu âm y học chẩn đoán của Mỹ SDMS), nguồn gốc của biểu đồ âm thanh (sonography) xuất hiện từ thời Hi Lạp cổ đại. Nhà toán học nổi tiếng Pitago đã phát minh một công cụ gọi là sonometer. Boethius (480 – 525) là người đầu tiên so sánh sóng âm thanh với sóng tạo ra khi ném một hòn đá xuống nước.
Học hỏi từ thiên nhiên
Cuối thế kỷ 18, Lazzaro Spalanzani – một giáo sĩ, nhà sinh vật học người Italia và sau đó là Charles Jurine – nhà sinh vật học người Thụy Sĩ đã quan sát và thực hiện một số thí nghiệm để chứng tỏ rằng loài dơi sử dụng tai để tìm đường đi. Tuy nhiên, ý tưởng này gặp một số phản bác và chìm dần vào quên lãng. Đến tận đầu thế kỷ 20, sau các nghiên cứu của W. Hahn, Hiram Maxim và Hartridge, người ta đã biết rằng loài dơi có thể phát ra âm thanh với tần số cao, sau đó thu âm thanh phản hồi bằng một bộ phận ở tai ngoài và dựa vào đó để xác định đường đi. Người ta dựa vào hiện tượng này để đề nghị nghiên cứu chế tạo các máy móc tương tự để xác định chướng ngại vật.
Hiện tượng áp điện (piezoelectricity)
Hầu hết các ý kiến đều thống nhất rằng phát hiện hiện tượng áp điện của anh em nhà vật lý người Pháp Pierre và Jacques Curie năm 1877 là thời điểm bắt đầu cho sự phát triển siêu âm. Năm 1881, nhà vật lý người Luxembour, Gabriel Lippman phát hiện ra hiện tượng áp điện ngược (converse piezoelectricity). 35 năm sau, nhà vật lý người Pháp Paul Langevin đã phát triển phương pháp chụp ảnh biểu đồ âm thanh. Piere Curire
Piere Curie Mong ước nhìn thấy được bên trong cơ thể thôi thúc các nhà khoa học phát triển các loại máy ghi và đầu dò từ cuối thế kỷ 19 và trong suốt thế kỷ 20. Ví dụ, Roentgen đã phát minh ra tia X năm 1895. Vụ chìm tàu Titanic năm 1912 cũng là một động lực lớn thúc đẩy các nhà khoa học tìm ra các vật thể chìm trong nước và phát hiện các vật thể trôi trên mặt biển. Nhiều nhà khoa học đã dựa vào những nghiên cứu mới về khả năng đặc biệt của loài dơi để chế tạo các thiết bị dò tìm.
Ý tưởng về một hệ thống phát hiện bằng siêu âm của nhà khoa học người Nga (sau đó di cư đến Pháp) Constatin Chilowsky đã thu hút sự chú ý của chính phủ Pháp. Siêu âm cũng như nhiều tiến bộ kỹ thuật lúc đó được khuyến khích phát triển để phục vụ chiến tranh. Chính phủ Pháp yêu cầu Langevin phát triển một thiết bị có thể phát hiện ra tàu ngầm của đối phương trong chiến tranh thế giới lần thứ nhất. Năm 1917, Langevin đã phát triển một thiết bị sử dụng hiện tượng áp điện, thiết bị này chưa đủ hoàn thiện để sử dụng trong chiến tranh nhưng đã tạo cơ sở cho việc phát triển kỹ thuật phát hiện bằng sóng âm (hệ thống SONAR) trong chiến tranh thế giới lần 2.
Sau đó, nhiều nhà khoa học trên khắp thế giới đã phát triển các ứng dụng của kỹ thuật siêu âm. Ví dụ, năm 1928, nhà vật lý Liên Xô Sergei Sokolov đã đề nghị sử dụng siêu âm trong công nhiệp, bao gồm cả việc phát hiện vết nứt trong kim loại.
Tuy vậy, khái niệm siêu âm chẩn đoán còn khá mới mẻ. Trong thập kỷ 1920 và 1930, siêu âm được sử dụng như là phương pháp trị liệu, đặc biệt trong các đội bóng đá. Trong thập kỷ 1940, siêu âm được xem như phương pháp điều trị bách bệnh, nó được sử dụng để điều trị từ bệnh viêm khớp, loét dạ dày đến eczema.
Karl Th. Dussik, một chuyên gia thần kinh tại đại học Vienna (Áo), được xem như người đầu tiên sử dụng siêu âm trong chẩn đoán y khoa. Trong khoảng thời gian năm 1937 đến năm 1942, Dussik và người anh là Freiderich đã cố gắng định vị các khối u não và các hốc não (cerebral ventricle) bằng cách đo sự truyền của siêu âm xuyên qua sọ. Họ gọi phương pháp này là hyperphonography. Cuối những năm 1940, George Ludwig, trong khi đang làm việc tại Viện nghiên cứu y học của Hải quân Mỹ đã sử dụng siêu âm để phát hiện sỏi mật.
Sự phát triển của B-mode
Một trong những người tiên phong trong việc phát triển kỹ thuật siêu âm là Douglas Howry – một nhà nghiên cứu về X quang tại đại học Colorado. Năm 1948, Howry đã tập trung vào việc phát triển thiết bị B-mode với mục đích chẩn đoán từ các hình ảnh giải phẫu cắt ngang. Năm 1949, ông đã chế tạo thành công thiết bị quét xung-phản hồi (pulse-echo scanner) sử dụng bước sóng 2,5 MHz. Tại Mỹ trong thời gian này cũng có một số người đã chế tạo thành công các thiết bị tương tự của Howry như John M. Reid, John J. Wild, Gil Baum,
Trong thời gian này một số nhà khoa học Nhật Bản cũng nghiên cứu chế tạo thành công các thiết bị siêu âm chẩn đoán và cho ra đời công ty ALOKA (1950). Wolf D. Keidel là người đầu tiên sử dụng siêu âm trên tim, và Inge Edler cùng Hellmuth Hertz người Thụy Điển được xem là cha đẻ của cái gọi là echocardiography (tạm dịch là biểu đồ tim mạch thu từ âm thanh dội lại).
Thập kỷ 1970 – thời kỳ phát triển bùng nổ
Cuối những năm 1960 và đầu những năm 1970 chứng kiến sự phát triển bùng nổ của các thiết bị siêu âm. Trong thời gian này, Klaus Bom giới thiệu 2D echo. Năm 1966, Don Baker, Dennis Watkins và John Reid đã phát triển siêu âm Doppler xung có thể phát hiện dòng máu ở nhiều độ sâu khác nhau trong tim. Don Baker sau đó còn tham gia phát triển Doppler màu và phương pháp quét kép (duplex scanning).
Siêu âm thời gian thực xuất hiện vào những năm 1980. Với tiến bộ này, phương pháp siêu âm trở nên đáng tin cậy hơn. Trong thập niên 1990, kỹ thuật siêu âm lại tiến một bước dài với ảnh 3D và 4D, giúp người bình thường cũng có thể hiểu được hình ảnh siêu âm. Siêu âm đã có thể giúp bác sĩ và bệnh nhân nói chuyện về những gì mà họ nhìn thấy. Trong những năm gần đây, hướng phát triển của siêu âm chẩn đoán hướng đến các tiêu chuẩn an toàn cho bệnh nhân và sự tiện lợi cho người sử dụng.
Sự phát triển của kỹ thuật cũng giúp các thiết bị siêu âm trở nên gọn nhẹ hơn. Sự ra đời của transitor và IC đã giúp thiết bị siêu âm ngày nay nhỏ hơn rất nhiều so với các thiết bị đầu tiên.
Kỹ thuật chế tạo đầu dò cũng có những tiến bộ vượt bậc. Các đầu dò đầu tiên sử dụng tinh thể thạch anh nhưng thạch anh có nhiều hạn chế trong sử dụng vì không thể cho điệp áp lớn. Sau đó, người ta sử dụng nhiều vật liệu khác như muối Rochelle, gốm áp điện,…Hiện nay, các đầu dò được chế tạo từ các vật liệu tổng hợp với những tính năng vượt trội so với các vật liệu từ tự nhiên.