코딩묻은 디자이너

Waiting for cache lock: Could not get lock /var/lib/dpkg/lock-frontend.에러

1. 프로세스를 종료시킨다

sudo killall apt apt-get

2. 위 방법으로 효과가 없다면 디렉토리 삭제

sudo rm /var/lib/apt/lists/lock
sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock*

3. 패키지 재구성

sudo dpkg --configure -a

4. 마무리

sudo apt update

추가로 터미널이나, bash 창을 닫았다가 열어서 시도하기

운영 체제 재부팅

등으로 해결하였다는 분들도 있었다.

참고

https://askubuntu.com/questions/1109982/e-could-not-get-lock-var-lib-dpkg-lock-frontend-open-11-resource-temporari

엘라스틱 서치 작업을 해야하는데

RDBMS만 다루다보니 삭제 작업에서 락이 발생하지는 않을지 궁금하여 찾아본 내용 정리

*RDBMS 는 MySQL 기준으로 작성

혹시 잘못된 내용이 있다면 댓글 주시면 감사하겠습니다.

MySQL의 동작방식

REBMS에서 데이터 삭제가 조회/수정에 영향을 미치는 이유

- 트랙잭션 관리 : MySQL은 ACID를 준수한다. 데이터를 삭제할 때, 해당 행을 잠그고 삭제가 완료되기 전까지 다른작업이 영향을 받을 수 있다.

- 물리적 삭제 : MySQL은 데이터를 삭제할 때 디스크에서 데이터를 즉시 제거한다.

- 락의 종류

행 레벨 락 : 삭제가 진행 중인 특정 행에 대해 검색/삽입 작업이 대기 상태가 된다.

테이블 락 : 대량 삭제가 테이블에 걸리는 락을 유발할 경우, 모든 작업이 영향을 받을 수 있다.

Elasticsearch의 동작방식

NoSQL기반으로 분산형 아키텍처라 데이터 삭제 방식이 RDBMS와 다르다

삭제 마킹

엘라스틱에서 데이터를 삭제할 때 해당 문서를 디스크에서 즉시 제거하는게 아니라 삭제된 것으로 표시만 한다

물리적 삭제는 나중에 처리됨

삭제 마킹된 데이터는 백그라운드 병합 작업 중 물리적으로 디스크에서 제거된다.

따라서 삭제 작업이 진행 중일 때도 검색 및 삽입 작업이 계속 정상적으로 이루어질 수 있다.

Elasticsearch 에서 검색과 삽입이 영향을 받지 않는 이유 

1. 읽기/쓰기 동시성 처리 :

- 샤드 기반 분산 처리를 사용하여 데이터가 여러 샤드에 분산되어 작업이 특정 샤드에서 이루어져도 다른 샤드에서는 검색 및 삽입 작업이 독립적으로 실행

- 검색과 삭제 작업은 서로 다른 리소스를 사용하므로, 병렬 처리 가능

2. 삭제가 논리적으로 처리됨 :

- 삭제는 문서 검색 결과에서 제외하는 논리적 작업에 불과하여 문서가 삭제되더라도 검색은 실시간으로 작동

3. document 기반 데이터 모델 :

- 데이터를 독립적인 문서 단위로 저장

- 각 문서가 고유하여 삭제 작업이 진행 중이라도 다른 문서에 삽입되거나 검색될 수 있음

https://pypi.org/project/jaconv/

다운로드

pip install jaconv

기능

히라가나 -> 가타카나 전환

가타카나 -> 히라가나 전환

가능하다

영어 -> 히라가나

히라가나 -> 영어 기능도 제공한다고 위키에는 나와 있으나,

실험해보니 해당 기능은 부족한 부분이 있는 것으로 보인다

import jaconv

# Hiragana to Katakana
jaconv.hira2kata('ともえまみ')
# => 'トモエマミ'

# Hiragana to half-width Katakana
jaconv.hira2hkata('ともえまみ')
# => 'ﾄﾓｴﾏﾐ'

# Katakana to Hiragana
jaconv.kata2hira('巴マミ')
# => '巴まみ'

# half-width character to full-width character
# default parameters are followings: kana=True, ascii=False, digit=False
jaconv.h2z('ﾃｨﾛ･ﾌｨﾅｰﾚ')
# => 'ティロ・フィナーレ'

# half-width character to full-width character
# but only ascii characters
jaconv.h2z('abc', kana=False, ascii=True, digit=False)
# => 'ａｂｃ'

# half-width character to full-width character
# but only digit characters
jaconv.h2z('123', kana=False, ascii=False, digit=True)
# => '１２３'

# half-width character to full-width character
# except half-width Katakana
jaconv.h2z('ｱabc123', kana=False, digit=True, ascii=True)
# => 'ｱａｂｃ１２３'

# an alias of h2z
jaconv.hankaku2zenkaku('ﾃｨﾛ･ﾌｨﾅｰﾚabc123')
# => 'ティロ・フィナーレabc123'

# full-width character to half-width character
# default parameters are followings: kana=True, ascii=False, digit=False
jaconv.z2h('ティロ・フィナーレ')
# => 'ﾃｨﾛ・ﾌｨﾅｰﾚ'

# full-width character to half-width character
# but only ascii characters
jaconv.z2h('ａｂｃ', kana=False, ascii=True, digit=False)
# => 'abc'

# full-width character to half-width character
# but only digit characters
jaconv.z2h('１２３', kana=False, ascii=False, digit=True)
# => '123'

# full-width character to half-width character
# except full-width Katakana
jaconv.z2h('アａｂｃ１２３', kana=False, digit=True, ascii=True)
# => 'アabc123'

# an alias of z2h
jaconv.zenkaku2hankaku('ティロ・フィナーレａｂｃ１２３')
# => 'ﾃｨﾛ･ﾌｨﾅｰﾚａｂｃ１２３'

# normalize
jaconv.normalize('ティロ･フィナ〜レ', 'NFKC')
# => 'ティロ・フィナーレ'

# Hiragana to alphabet
jaconv.kana2alphabet('じゃぱん')
# => 'japan'

# Alphabet to Hiragana
jaconv.alphabet2kana('japan')
# => 'じゃぱん'

# Katakana to Alphabet
jaconv.kata2alphabet('ケツイ')
# => 'ketsui'

# Alphabet to Katakana
jaconv.alphabet2kata('namba')
# => 'ナンバ'

# Hiragana to Julius's phoneme format
jaconv.hiragana2julius('てんきすごくいいいいいい')
# => 't e N k i s u g o k u i:'

히라가나 - 가타카나 가타카나 - 히라가나 전환만 필요한 경우 해당 라이브러리를 이용하면 편리하다

python으로 pip 설치를 진행하다가 에러가 발생하였다

에러

[notice] A new release of pip is available: 24.2 -> 24.3.1
[notice] To update, run: python.exe -m pip install --upgrade pip

에러의 원인은 버전이 낮아서 발생하는 것으로 pip upgrade가 필요하다

해결방법

사실 해당 에러는 매우 간단하다

python.exe -m pip install --upgrade pip

파이썬이 안내해주는 방식 그대로 사용하면 해결 가능하다!

해당 방법으로 pip를 업그레이드한 후 본래 사용하고 싶었던 명령어를 사용할 수 있었다.

Python  가상환경 사용하기

Python에서는 가상 환경을 사용할 수 있고 특병 프로젝트에 맞춰서 패키지를 다르게 독립적으로 설정해줄 수 있다

버전관리나 동일한 환경에서 다른사람들과 작업하기 편리하다

Python 가상환경 생성하기

python -m venv '가상 환경 이름'

Python 가상환경 활성화하기

생성된 가상 환경으로 이동 후 활성화

cd '가상 환경 이름 '
source Scripts/activate

해당 명령어를 입력하면 하단에('가상환경이름') 가상환경이 연결된걸 확인할 수 있다.

나의 경우 venv로 대충 지음

bash에 입력시

sou + Tab S + Tab a + Tab 

Tab 입력시 간편하게 자동완성 해준다

가상 환경에 패키지 설치

가상 환경에 접속 후 pip를 사용해서 패키지를 설치할 수 있다

pip install requests

위의 명령어를 입력하면 전역 환경에는 깔리지 않지만 나의 venv환경에서는 requests 라이브러리가 추가된다!

가상환경 비활성화

deactivate

입력하면 bash 하단의('가상환경이름') 이 사라진다

가상환경 삭제

가상환경 삭제는 간단하게 해당 가상환경이 포함된 폴더늘 삭제 해주면 된다

rmdir

추가 팁

내가 설치한 패키지와 버전을 한번에 txt 파일로 뽑아낼 수 있다.

pip freeze > requirements.txt

그리고 이대로 설치도 가능하다

pip install -r requirements.txt

Python에서 문자열을 구분자로 분할할 때 str.split 을 사용해서 분리한다

그런데, 구분자가 여러개일 때의 분리가 필요해서 찾아보게 되었다.

re.split 사용법

import re

result = re.split(pattern, string, maxsplit=0, flags=0)

re를 import 해준다

pattern : 구분자 패턴

string : 분할할 문자열

maxsplit=0 : 수행할 최대의 분할 수로, 기본값은 0(생략가능)

flags=0 : 선택적 플래그 인자(생략가능)

여러 구분자로 나누기

ex)

text = "가1나다라1마바사2아자차1카타"

print(text.split("1"))

print(re.split("1|2",text))

결과값
['가', '나다라', '마바사2아자차', '카타']
['가', '나다라', '마바사', '아자차', '카타']

구분자는 "|" 로 나눌 수 있다

혹은 [] 대괄호 안에 넣어서 구분할 수도 있다

text = "가1나다라1마바사2아자차1카타"

print(text.split("1"))

print(re.split("[12]",text))

결과값
['가', '나다라', '마바사2아자차', '카타']
['가', '나다라', '마바사', '아자차', '카타']

공백으로 나누기

text = "가 나다라    마바사  아자차 카타"

print(text.split(" "))

print(re.split(r"\s",text))

print(re.split(r"\s+",text))


결과값
['가', '나다라', '', '', '', '마바사', '', '아자차', '카타']
['가', '나다라', '', '', '', '마바사', '', '아자차', '카타']
['가', '나다라', '마바사', '아자차', '카타']

\s 문자열 패던을 입력하면 공백으로 나눌 수 있다
\s+를 사용하면 공백이 여러개라도 하나의 공백으로 처리해서 나눌 수 있다!

maxsplit

text = "가 나다라    마바사  아자차 카타"

print(re.split(r"\s+",text, maxsplit=1))
print(re.split(r"\s+",text, maxsplit=2))
print(re.split(r"\s+",text, maxsplit=3))

결과값
['가', '나다라    마바사  아자차 카타']
['가', '나다라', '마바사  아자차 카타']
['가', '나다라', '마바사', '아자차 카타']

maxsplit 은 분할을 제한한다

값이 1이면 2개로 분할, 2이면 3으로 분할... 이런식으로 분할은 해당 값 만큼 분할 되어서 나온 결과값은 값+1

flag는 사실 뭘 하는건지 모르겠다...

re.split을 이용해서 크롤링 값을 나눠서 저장하는거에 유용하게 사용했다

https://docs.python.org/3/library/re.html

최근 개인 프로젝트로 만드는 중인 타자연습 사이트

JSON파일을 만들어서 로컬에서 던어를 불로오도록 만들었는데 DB와 프론트를 연결해보고 싶어졌다.

항상 팀 프로젝트만 해와서 다른 분들이 DB나 백을 해주셨던터라 그쪽으로는 아는게 없어서 Chat GPT에게 질문하면서

JSON 파일을 테이블로 만들어봤다

1. Chat GPT에게 제안받은 방법

JSON 파일 -> csv파일 -> MySQL에 테이블로 생성

Chat GPT가 제안한 방법은 가지고 있는 JSON파일을 일단 CSV파일로 생성한 후

MySQL에서 다시 테이블로 변환하는 과정을 추천해줬다

일단 Json 파일을 csv로 만드는 javaScript 코드를 생성하여 csv파일을 생성하는 것 까지는 어렵지 않았으나

이제 막 설치한 MySQL Workbench는 설정이 안된게 많았던건지 여러가지 오류를 발생시키며 진행이 안되어서 3시간이나 쓰고 말았다

2. MySQL Workbrench를 사용해서 테이블을 생성하는 방법 *매우간단

스키마에서 오른쪽 마우스 클릭 후

"Table Data Import Wizard"를 클릭해준다.

table에 넣기 원하는 json 파일 경로를 지정

새로운 테이블을 만들거나, 기존에 테이블에 넣기를 선택한다

이후 원하는 Field Type을 작성해주면 완료

--

id, value와 같은 컬럼 명을 사용하여서 생성하였는데, 이런... 단어들은 뭔가 컬럼명으로 사용해도 괜찮은걸까? 좀 더 고민해보고 컬럼 명은 수정하도록 해야겠다

Error Code: 1046. No database selected Select the default DB to be used by double-clicking its name in the SCHEMAS list in the sidebar.

해당 오류는 어떤 DB의 데이터 테이블을 가지고 올지 선언을 해주지 않았을 때 해당 오류가 발생한다.

해결방안으로는

1. 테이블 앞에 DB이름을 작성해준다

2. 자주 사용하는 스키마를 기본 스키마(Default Schema)로 지정해준다.

1. 테이블 앞에 DB이름 작성

회사에서는 이 방법으로 DB 조회를 하고있다.

SELECT *
FROM DB이름.테이블 이름
WHERE ...

위와 같이 DB이름을 먼저 입력 후 뒤에 테이블 이름을 작성해주면 된다.

나의 경우 1046오류를 내가 기존에 가지고 있는 scv파일을 새로운 테이블로 새로 작성하는 과정에서 만났는데

스키마가 생성되지 않은 상태라서 스키마부터 생성해주었다

스키마 생성 방법

MySQL Workbench의 왼쪽 상단

"Create a new schema in the connected server"

을 클릭하여 새로운 스키마를 생성해준다

이름과 캐릭터셋을 설정해주면 된다

utf8로 설정하여 만든다

2. 자주 사용하는 스키마를 기본 스키마(Default Schema)로 지정

개인 프로젝트를 진행할 예정이므로 가장 자주 사용할 DB를 기본 스키마로 지정해주었다

오른쪽 마우스 클릭 후 Set as Default Schema 클릭

만약 네비게이터에서 스키마가 보이지 않는다면

탭의 하단에서 Schemas를 클릭하여 찾아준다

'mysql'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는 배치 파일이 아닙니다

원인

환경 변수가 설정이 되어있지 않아 발생하는 오류

해결방법

시스템 환경 변수 편집 접속 > 고급 > 환경변수 클릭 > 아래 시스템 변수 중 path 클릭 > 편집 클릭 > 가장 하단에 MySQL 경로 삽입 > 확인

1. 시스템 환경 변수 편집 접속

3번째 탭인 고급에서 아래의 환경 변수(N)... 클릭

시스템 변수 중 Path 를 선택하고, 편집 버튼을 누른다

해당 편집 창에서 MySQL 의 경로를 붙여넣어준다

나의 경우는

C:\Program File\MySQL\MySQL Server 8.0\bin

해당 경로를 입력하고 확인을 눌러준다

그 후 cmd 창에서 입력을 시도하면 Enter password : 가 나오고, 처음 입력받은 비밀번호를 입력해주면 CMD창에서 MySQl 을 실행할 수 있다.

MySQL설치

프로젝트를 MySQL과 연동하기 위해서 MySQL을 설치 할 예정이다.

타 블로그 등을 참고하여 MySQL을 설치해보았다.

MySQL 다운로드 주소

https://dev.mysql.com/downloads/windows/installer/8.0.html

사이트에 들어간 후 쿠키 관련 팝업이 나오면 모든 쿠키를 허용해준다.

위 버전은 웹이라 아래걸로 다운받아준다

로그인/회원가입 페이지가 나오는데 하단의

No thanks, just start my download.를 클릭해서 가입하지 않고 다운받아준다. (몰론 가입해두 된다)

다운로드 한 파일을 열면 아래 Installer가 나온다.

Choosing a Setup Type

설치 유형을 선택할 수 있다.

위 페이지에서는 필요한 것들을 골라서 설치하기 위해 Custom을 선택해준다

처음 들어가면 3개의 대분류 폴더가 있는데 각 폴더에서 하나씩 제품을 선택해서 설치해준다

경로

MySQL servers > MySQL Server -MySQL Server 

Applications > MySQL Workbench -MySQL Workbench 8.0.xx

Documentation > Samples and Examples > Samples and Examples 8.0.xx

Development Computer를 선택하고, TCP/IP체크 도니 상태에서 Port는 3306으로 설정해준다

MySQL은 기본설정으로 127.0.0.1 주소의 3306 번의 포트로 접속하게 되어있는데, 이전에 사용하던 MySQL이 있다면 위와같이 빨간 느낌표가 뜨는 오류가 발생할 수 있다.

해당 오류가 발생한다면 기존에 사용하고있는 MySQL의 3306 포트는 삭제한다면 해결할 수 있다.

Use Strong Password Encryption for Authentication

MySQL 8 supports a new authentication based on improved stronger SHA256-based password methods. it is recommended that all new MySQL Server installations use this method going forward.

Attention : this new authentication plugin on the server side require new versions of connectors and clients which add support for this new 8.0 default authentication(caching_sha2_password authentication).


Currently MySQL 8.0 Connectors and community drivers which use libmysqlclient 8.0 support this new method. if clients and applications cannot be updated to support this new authentication method, the MySQL 8.0 Server can be configured to use the legacy MySQL Authentication Method below.

인증에 강력한 암호 암호화 사용

MySQL 8은 향상된 더 강력한 SHA256 기반 암호 방식을 기반으로 하는 새로운 인증을 지원합니다. 앞으로 모든 새로운 MySQL Server 설치에서 이 방식을 사용하는 것이 좋습니다.

주의: 서버 측의 이 새 인증 플러그인에는 이 새 8.0 기본 인증(caching_sha2_password 인증)을 지원하는 새로운 버전의 커넥터 및 클라이언트가 필요합니다.


현재 libmysqlclient 8.0을 사용하는 MySQL 8.0 커넥터 및 커뮤니티 드라이버가 이 새 방식을 지원합니다. 이 새 인증 방식을 지원하도록 클라이언트 및 애플리케이션을 업데이트할 수 없는 경우 MySQL 8.0 서버는 아래의 레거시 MySQL 인증 방식을 사용하도록 구성할 수 있습니다.

Use Legacy Authentication Method (Retain MySQL 5.x Compatibility)

Using the old MySQL 5.x legacy authentication method should only be considered in the following cases :

- If applications cannot be updated to use MySQL 8 enabled Connectors and drivers.
- For cases wherre re-compilation of an existing application is not feasible.
- An updated, language specific connector or driver is not yet available.

Security Guidance : When possible, we highly recommend taking needed steps towards upgrading your applications, libraries, and database servers to the new stronger authentication. This new method will significantly improve your security.

레거시 인증 방법 사용(MySQL 5.x 호환성 유지)

이전 MySQL 5.x 레거시 인증 방법을 사용하는 것은 다음과 같은 경우에만 고려해야 합니다:

- MySQL 8 지원 커넥터 및 드라이버를 사용하도록 애플리케이션을 업데이트할 수 없는 경우.
- 기존 애플리케이션의 재컴파일이 불가능한 경우.
- 업데이트된 언어별 커넥터 또는 드라이버를 아직 사용할 수 없습니다.

보안 지침 : 가능하면 응용 프로그램, 라이브러리 및 데이터베이스 서버를 새로운 더 강력한 인증으로 업그레이드하기 위해 필요한 조치를 취할 것을 강력히 권장합니다. 이 새로운 방법은 보안을 크게 향상시킬 것입니다.

위의 선택창이 추천되는 선택지지만, 나는 파이썬과의 연동을 진행할 예정이라 아래 선택지를 선택하였다.

다른 블로그들을 확인했을 때에도 아래 선택지를 선택한 분들이 많았다

Accounts and Roles 에서는 비밀번호를 설정한다.

Windows Service Name은 전통적으로 MySQL을 많이 사용한다고 한다.

기본 설정은 MySQL80으로 설정되어있지만, MySQL로 변경하여준다.

Server File Permissions 에서 서버 권한을 설정할 수 있다.

그룹 관지자 그룹만 권한을 부여하도록 가장 위에 있는것을 체크한다.

Apply Configuration 모두 설치 완료되면 finish 클릭

아래 비밀번호를 입력하고 Check 클릭 

Start MySQL  Workbench after setup 을 클릭하고 종료하면 바로 MySQL Workbench가 실행된다.

설치가 완료되면 클릭 후 설치 과정에서 입력한 비밀번호를 설정하면 정상적으로 접속이 가능하다

참고한 문서

https://hongong.hanbit.co.kr/mysql-%EB%8B%A4%EC%9A%B4%EB%A1%9C%EB%93%9C-%EB%B0%8F-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0mysql-community-8-0/