En el estandar serie o RS-232 existen 2 tipos de dispositivos:
1) DTE - Data Terminal Equipment (ordenadores, impresoras, terminales, ...)2) DCE - Data Communication Equipment (modems, ...)
Para comunicar DTE DCE se usa un cable sin cruzar. Para comunicar DTE DTE se usa un cable cruzado (null-modem). para comunicar DCE DCE se usa un cable cruzado (null-modem).
Para controlar el modem, busca en internet "Hayes AT command set". De todos modos cada fabricante pone unos u otros según le da la gana. Intenta buscar el manual de usuario del modem concreto que estas utilizando.
Un consejo, cuando pongas los parametros del puerto serie, empieza siempre sin control de flujo (ni hardware, ni XON/XOFF). Si notas fallos, prueba con control de flujo.
Saludos.