Discussion on Korean language (UTF-8) support.

[kuro11pow2]

한글 패치를 어떻게 진행할 것인지에 대해 논의해보기 위해 이 discussion을 생성하였습니다!
(아직 배우는 몸이라 많이 부족합니다 부담없이 의견 주세요!)

우선, 저는 한글 패치를 위해 작성해야할 파일은 다음 세 가지라고 파악했습니다.

src/main/cpp/core

UTF8Charset.h

src/main/cpp/core/source

UTF8Charset.cpp

src/main/cpp/tests/

UTF8CharsetTest.cpp

(놓친 부분이 있다면 말씀해주세요)

저희는 TDD 방법론을 사용할 예정이기 때문에 링크를 읽어보시면 좋을 것 같습니다.
내용을 간략하게 요약하면 크게 세 단계가 됩니다.

1. 유닛테스트 만들기
2. 개발 진행하기
3. 리팩토링하기

한글 패치에 위 내용을 대입해보면 다음과 같은 단계를 생각해볼 수 있습니다.

1. 테스트 케이스 작성 (다양한 코드 포인트와 그 UTF-8 인코딩 결과의 쌍을 확보)
2. 테스트 코드 파일 작성 (UTF8CharsetTest.cpp)
3. 작성한 테스트 코드를 CMake에 등록하고 UTF8Charset.cpp의 stub을 만들어서 동작 여부 테스트
4. UTF8Charset.h 작성 (Charset interface 상속)
5. UTF8Charset.cpp 작성 (헤더 파일과 테스트 케이스 모두 만족하도록)
6. 테스트 케이스를 통과하는지 확인
7. 리팩토링

여기서 1, 4가 정해지면 2~3과 5는 병렬적으로 진행할 수 있을 것으로 보이기 때문에 해당 구간에서만 두 그룹으로 나누고 나머지는 함께 코딩하며 서로 놓치는 부분이 있는지 살피며 개발하면 어떨까 합니다.
(작업 단계 및 인원 배분에 대한 의견이 있으시면 부탁드립니다!!)

또한 논의는 Zoom으로도 진행할 예정이지만 기본적으로 논의 내용을 github discussion에 남기면 좋을 것 같습니다.

일단 제가 구상해본 내용은 위와 같습니다.
멘토님들, 저희 팀원분들은 물론, 많은 멘티분들의 의견 부탁드립니다!

---

멘토님 의견에 따라서 UTF-16과 UTF-8을 병행 개발하기로 하였습니다!

[judemin]

[judemin]

UTF8Charset 자체를 저희가 처음부터 모두 작성하는 형태가 되어야 할까요?

[kuro11pow2]

넵 저희가 파일 생성, 작성을 모두 해야 합니다! ASCII에 대해서 동일한 역할을 하는 파일이 존재하기 때문에 해당 파일 베이스로 진행하면 좋을 것 같습니다.

[judemin]

넵! 다른 discussion까지 모두 읽고난 후 이제야 이해했습니다! comment는 사진이 포함되어 불필요한 내용이 길어질 것을 염려해 삭제했습니다

[judemin]

https://github.com/nemtrif/utfcpp
해당 리포지토리를 참고해서 개발해도 좋을 것 같습니다!

[judemin]

그리고 https://modoocode.com/292 이 포스트에서 저희가 중점적으로 봐야 할 부분은
중간에 "C++ 에서 한글 다루기" 부분일 것 같습니다!

[seohy02]

감사합니다~! 참고할게요!

[seohy02]

utf8 추가하면 PacketBuilder 부분에 utf8 관련해서 추가하고, PacketBuilder가 쓰인 코드 모두 수정이 필요할까요??
코드 분석을 열심히 하고 있는데 PacketBuilder 쪽은 아직 완벽하게 이해하지 못 한 것 같아요 !

euphony/euphony/src/main/cpp/core/source/PacketBuilder.cpp

Lines 22 to 30 in 5496692

	PacketBuilder &PacketBuilder::basedOnBase2() {
	packet.setBaseType(BaseType::BASE2);
	return *this;
	}
	PacketBuilder &PacketBuilder::setPayloadWithASCII(std::string asciiSrc) {
	packet.setPayload(HexVector(ASCIICharset().encode(asciiSrc)));
	return *this;
	}

[kuro11pow2]

넵 setPayloadWithASCII가 사용되는 곳을 찾아보면 cpp/core/source/TxEngine.cpp 의 setCode 메소드에서 사용되더라구요 이 부분도 수정해야할 것 같은데... 사실 저도 구조를 완전히 파악하지 못해서 확실하지가 않네요 ㅠㅠ 멘토님 도움을 받아야 할 것 같아요!

[seohy02]

여기 UTF8은 추가되어 있더라구요 ! UTF16을 추가한다면 여기도 추가 해주어야할까요 ?!

euphony/euphony/src/main/cpp/core/Definitions.h

Lines 51 to 56 in 5496692

	enum class CharsetType : int32_t {
	ASCII = 0,
	/* TODO: Develop Charset for UTF8 */
	UTF8 = 1
	};
	}

[kuro11pow2]

넵 그래야 할 것 같습니다!

[designe]

열심히 잘하고 계시네요.
단계적으로 밟아가시면 됩니다.
한번에 여러 업데이트를 하면 어려울 수 있으니
클래스 단위로 단위 테스트 추가와 클래스를 완성하셔서 PR을 날리시면 나머지 dependency에 대한 부분은 제가 PR에서 코멘트 드릴 수 있습니다 :)

UTF8은 저장되는 단위가 가변적이라서 어려우니
UTF16 2바이트 단위로 처리하는 녀석부터 하면 쉬울거에요!
다른 dependency 생각하지 말구 UTF16에 대한 en/decode 함수 완성은 아마 금방할 수 있을껄요?!

ㄱ이라는 입력값이 들어가면 3131을 encode 하고
ㄴ -> 3134
ㄷ -> 3137

반대로 0x31 0x31라는 16비트가 들어오면 ㄱ으로 decode 해주는
이런식으로 유닛테스트를 우선 완성하고 한번 완성해보시죠!

[judemin]

넵 좋은 코멘트 감사드립니다!