以下の様な何通りかの原因が考えられます。

• RS-232Cケーブルが指定のシリアルポートに正しく接続されていない場合に発生します。シリアルポートをご確認ください。
• RS-232Cの設定（転送速度、データ長、パリティ、ストップビット、デリミタなど）がソフトウェアと測定器とで異なっている場合に発生します。設定をご確認ください。
• 接続ケーブルがストレートケーブルの場合に発生します。クロスケーブルに交換してください。
• シリアルポートが破損している可能性があります。ご確認の上、他のポートをご使用ください。
• RS-232Cケーブルが断線している可能性があります。ご確認の上、RS-232Cケーブルを交換してください。

接続確認方法
ハイパーターミナルを起動し測定器と通信できるか確認します。

ブレークスルーに対応した測定器でリセットがかかりっぱなしになる現象です。
これは最近のパソコンでは省電力設計ということでRSを使用しないときは電圧出力が不定なため起きるようです。一部のメーカーの変換ケーブルもこの仕様と思われます。
弊社で正常な動作を確認したUSB-シリアル変換ケーブルはI/O DATA社製のUSB-RSAQ5です。