Microsoft Crypto Library Endian Problem

Note that if we were using the Win32 API, we would retrieve a PUBLICKEYBLOB (or PRIVATEKEYBLOB) which would house the public or private key blob. The Win32 blob would be in Little Endian order, which we would later have to convert to Big Endian. When we access the RSAParameters using C#, it is returned in Big Endian format so we do not need to reverse the byte ordering before serialization.

출처: http://www.codeproject.com/KB/security/CryptoInteropKeys.aspx

OpenSSL에서 보낸(export) RSAPublicKey를 MS CAPI로 받아(import) 암호화한 데이터를 OpenSSL에서 풀 수 없는 일이 발생하였다.

회사 분 도움(그분도 5년 전에 같은 골머리를 썩힌 적이 있다고)으로 MS CAPI에서 RSA연산할 때, Big Integer를 Little Endian으로 놓고 계산하므로 CAPI와 다른 라이브러리 사이에서 암호화/복화화를 할 때는 결과값을 반전해서 처리하도록 하자.

역시 경험과 문서화가 중요하다.

* 추신: C#은 제대로 Big Endian으로 계산한다.

* 추신2: MS가 첫 단추를 잘못 끼우긴 했지만, 이미 많은 윈도우 어플이 해당 상황을 고려햐서 만들었기 때문에 이제 와서 MS에서 함부러 고치는 것도 무리일 듯 하다.

원본 위치: http://purewell.egloos.com/5036207