Las matemáticas han sido aplicadas a muchas áreas de las finanzas a través de los años.  No hay mucha información acerca de la historia de las matemáticas financieras, ni de cuál era el problema que se intentaba solucionar con ellas, lo que yo creo es que se dieron como un desarrollo involuntario, pero necesario, que complementaba algunas transacciones comerciales o determinados pagos, por ejemplo los que habían de realizar los aldeanos a sus señores feudales en la época del feudalismo en Europa.  Mi instinto me dice que las matemáticas financieras aparecieron inicialmente con los intereses, creo que "alguien" se dio cuenta que si otro le debía dinero o vacas o cabras o lo que fuera, él debía recibir una compensación por el tiempo que esta persona tardara en cancelar la deuda.

Si no tienes mucho inconveniente con el inglés te aconsejo que leas  "Against the Gods: The history of risk" de Peter Bernstein, habla bastante sobre la historia de las finanzas y las aproximaciones matemáticas al riesgo a través de los años.

Respecto a cuáles libros son los más importantes, creo que habrá muchos libros de texto que te pueden servir si quieres aprender, yo aprendí con un libro colombiano de Guillermo Baca titulado "Ingeniería Económica", pero creo que todos los libros de administración financiera básica tienen capítulos dedicados a las financieras, te recomiendo el de Shall..