Se conocen ciertos datos sobre artes marciales de hace unos 6000 años, pero los registros son más claros de hace 3000 años en China. Durante el reinado de Wen, en la dinastía Chou, se sistematizaron los métodos antiguos de lucha. Sus sistemas se han pasado de generación en generación a través de discípulos, que agregaron mejorías, alcanzando las técnicas altamente refinadas de la actualidad.

En este último milenio se evolucionó hacia dos estilos mayores: Shang Wu y Shaolin.

El estilo Shang Wu, fundado por Chang-san Feng, hace énfasis en el poder del ch'i (ki en japonés). El Tai Chi, Hsing-i y Pa-Kua son buenos ejemplos. Sus movimientos tienen un poder explosivo, que aplicados efectivamente pueden fácilmente matar a un hombre.

En el estilo Shaolin se considera a Ta-mo Lao-tsu (Bodhidharma) como su fundador. Se basa en la aplicación práctica de técnicas de mano y pies para bloquear y atacar, junto con técnicas duras-blandas y largas-cortas.

Se cree que, en el año 520 D.C., un hindú, vigésimo patriarca de la india fue responsable de la introducción de las bases para el nacimiento del karate-do. A este patriarca se le conoce por "Bodhidharma".

Según cuenta la leyenda, Bodhidharma, hombre exigente, de mirada profunda y penetrante, de modales bruscos y desafiantes, fue un príncipe, hijo de Suganda, de la región de Madras, perteneciente a la casta de los guerreros. Se educó en el budismo basado en la técnica de "dhyana" enseñada por el maestro Prajnatara. A la muerte de este y siguiendo sus deseos, abandonó la India, atravesando el Himalaya. Después de muchas penalidades llegó a China con el Budismo "Chan".

Bodhidharma llegó a Cantón y poco tiempo después se entrevistó con el emperador Wu de Liang, gran admirador y seguidor del budismo. Al emperador Liang no le agradó el Chan por lo desquiciado y áspero de su método. Despedido por el emperador, se dirigió al monasterio Shaolin de Soog Shan en la provincia de Honan, instalándose en el templo de Chor Jo Um.

Empezó a enseñar sus prácticas budistas a un grupo de novicios y viendo cómo caían dormidos durante sus lecturas, les enseñó 12 movimientos (basados en 12 animales) y 24 ejercicios musculares llamados Eki Kinkyo. Estos movimientos servirían para que adquirieran un fuerte cuerpo y una sólida capacidad de concentración.

Los monjes empezaron a practicar los ejercicios en las mañanas y el entrenamiento cotidiano les dio un cuerpo robusto y lleno de salud.

El arte se desarrollo cuando los monjes se vieron obligados a defender el monasterio en contra de bandidos venidos del exterior, y fue con tanta efectividad el uso que de él los monjes hicieron que su fama llegó lejos y se le bautizó con el nombre de Shaolin Boxing. Con el tiempo este sistema de defensa se expandió por toda China conjuntamente con la religión.

Localizada al sur de Japón, antes llamada el reino de Ryukyus, la prefectura de Okinawa fue el sitio de origen del karate.

Nadie sabe en qué momento el karate hizo su primera aparición sobre Ryukyus. Hubo dos ocasiones en la historia de Ryukyus, en las que se prohibieron las armas por edictos gubernamentales: la primera vez hace más de quinientos años y la segunda vez doscientos años después. Estas prohibiciones no hicieron otra cosa excepto ayudar al desarrollo del karate.

Hasta el comienzo del siglo XV Ryukyus estaba dividido en 3 reinos independientes: Chuzan, Nanzan y Hokuzan, cada uno luchando contra el otro por supremacía. Chuzan eventualmente prevaleció y el país se unificó bajo su rey, Sho Hashi (1372-1439).

Se estableció inmediatamente un gobierno no militar. Se editó un estricto edicto que prohibió cualquier posesión de armas. Por dos siglos se gozó de paz, luego en 1609 se vieron atacados por Shimazu, gobernadores militares del sur de Kyushu, Japón. Luego de una gran resistencia, Ryukyu cae en manos de Shimazu. Nuevamente se prohibieron las armas, esta vez no sólo al pueblo, sino a las clases altas también. Muchos historiadores están de acuerdo con que esta segunda prohibición fue la que estimuló la creación de medios de autodefensa sin armas.

Aun así, ya se practicaban algunas formas de combate sin armas antes de la invasión. Ya que las Ryukyus fueron un estado tributario de China, se dieron periodos de frecuente contacto con China, por lo que hubiere sido muy natural que el kenpo (lit., "método del puño") hubiera sido importado a la isla. Elementos de kenpo fueron probablemente adaptados e incorporados a los estilos de combate local. De esta manera se originaron los dos precursores del karate: okinawa-te y to-de.

Con la prohibición de las armas, la práctica de métodos de combate sin ellas se vio rápidamente envuelta en el secreto, pues, comprensiblemente, los locales no querían que se supiera de la existencia de estos métodos. La práctica de no revelar los principios de su arte a extranjeros no era sólo característica del karate; también se dio en kendo y otras artes marciales. Pero no existía comparación con las grandes precauciones que se tomaron en Ryukyus, donde también existió una prohibición de mantener registros escritos. En el periodo Meiji (1868-1912), cuando ya no existía la necesidad de reserva, la tradición de siglos de secreto se mantuvo.

Debido a la falta de registros escritos, se sabe virtualmente nada sobre los creadores del karate y cómo fue transmitido. Lo que se sabe en la actualidad es gracias a la transmisión oral y por lo mismo es vago.

En sus comienzos, el karate se llamó simplemente "te" (Mano). Cuando a finales del siglo diecinueve se incorporó su práctica como parte de los programas de educación física en las escuelas de Okinawa, y debido a su popularidad creciente dentro del Japón, se le renombró como "karate" (Mano Vacía), para distinguirlo del "tode", una forma de Mano originaria de China.

Los dos estilos originales de karate, desarrollados en las regiones de Shuri y de Naha, se llamaban respectivamente "shuri-te" (la Mano de Shuri) y "naha-te" (la Mano de Naha). Hoy día existen numerosos estilos diferentes de karate, tanto en Okinawa como en el propio Japón, pero la mayoría deriva de los mencionados anteriormente.

En 1891 o 1892, según el Maestro Funakoshi, un profesor de escuela comenzó a enseñar karate a sus alumnos. Cuando llegó el tiempo de reclutamiento para el ejército, se observó inmediatamente que aquellos que entrenaban karate estaban en mejor estado físico que otros. Posteriormente el maestro Itosu fue invitado a atender una reunión de directores de escuela y hacer una demostración con sus estudiantes. Quedaron muy impresionados y prontamente se incorporó karate en el programa de educación física de dos de las mayores escuelas secundarias en Okinawa.

En mayo del año 1922, el Ministerio de Educación de Japón realizó la Primera Exhibición de Atletismo. El Maestro Funakoshi, como presidente de la Asociación de Artes Marciales Okinawenses, fue invitado a participar y mostrar las artes marciales locales a Japón (las islas principales). El maestro preparó material y partió a Japón.

Tras la exhibición, se vio forzado a quedarse por todo el interés mostrado inicialmente por Jigoro Kano , el gran maestro de judo, ante el cual realizó demostraciones, con cerca de cien judokas. Funakoshi era un admirador de Kano y de su arte marcial, por lo que consideró de gran honor el poder entrar al templo del judo, en el Kodokan. Logró ganarse la admiración de los insignes judokas y una eterna y respetuosa amistad con Jigoro Kano. En el plano técnico, Funakoshi se inspiró del método de enseñanza de Kano para modernizar su okinawa-te introduciendo el sistema de grados por cinturones (hasta entonces, éstos servían únicamente para sujetar los pantalones). Este fue el comienzo de una gran cantidad de actividades en Tokio, que le impidieron volver a Okinawa por mucho tiempo.

Así quedó establecido el comienzo del karate-do, creado a través de la fusión de las artes marciales Okinawenses y la filosofía Budo de las artes marciales japonesas, tales como el kyudo, arte de tiro con arco, o el kendo. En líneas generales, el karate-jutsu original de Okinawa y que era simplemente un método de autodefensa, al extenderse por el resto de Japón e irse impregnando de la filosofía Zen, pasó a ser también un método de desarrollo personal, cambiando el jutsu (técnica) por do (camino, guía).

En 1949 se funda la Asociación Japonesa de Karate (JKA), que celebró los primeros campeonatos de Japón en 1957. Esta práctica deportiva se extendió a Occidente durante la década de 1950. La organización All Japan Karate-do (FAJKO), fundada en 1964, celebró los primeros campeonatos del mundo multi-estilo en 1970. Las mujeres participaron por primera vez en unos campeonatos del mundo en 1980.