Data Analysis

데이터베이스 쪽에서 나온 기술들 복잡한 수학이나 통계 이론 없이 DB 기술로! 빈발패턴을 먼저 구해야 연관규칙이 구해진다. 빈발항목집합 탐사 장바구니 분석: 여러 항목들이 동시에 또는 근접한 시점에 발생하는 데이터에 대해 적용 가능 빈발패턴 transaction: 한번에 같이 구매한 제품들 i.e. {빵, 버터} […]

100개를 분류한다고 해보자 A: 50, B: 50 특정 노드에 특정 샘플(A 30개 B 0개)만 있으면 불순도 0 불순도가 적은 방향으로 트리를 확대시켜 나가자 가장 기본적인 알고리즘이 CART와 ID3 ID3 조건을 선택하는 게 아니라 컬럼을 선택한다. 예를 들어 x2라는 특성을 범위를 […]

다양한 종류 1. Tensorflow -스칼라나 Go는 인공지능에서 많이 쓰일 것이다. 2. Theano 3. Keras -tensorflow나 Theano는 저레벨 -인공신경망 구축 위한 절차들을 하나하나 코딩해줘야 한다. 4. Caffe 5. Torch -PyTorch라는 파이썬 기반 프레임워크로 만들어짐. -쉽게 접목 가능 6. Deeplearning4j -JVM만 설치돼있으면 […]

인공지능 컴퓨터를 사람처럼 만들고자 하는 기술의 총칭 머신러닝 데이터를 주면 데이터를 기반으로 학습해서 로직을 자동으로 만들어내는 기술 다양한 알고리즘이 있음 딥러닝 인공신경망 방식으로 컴퓨터 스스로 해결하는 방법 신경망을 컴퓨터적으로 구현한 것. 나온 지 오래된 기술임. 머신러닝 중에서도 결정트리만 담당 인공지능 […]

데이터 축소 -데이터를 압축하는 효과 A, B, C group by A, B, C, AB, BC, CA, ABC 이렇게 7가지 + NULL 까지 8가지로 추상화 가능 select sum(A) from tab1 (group by NULL) 널로 하면 결과값 1개 나온다. 최상위 추상화임 –> […]

\d – 숫자 \w – 영문자 (, 숫자) 모든 문자 [a-z] 영문자 {} 연속된 패턴 \d{3} 연속된 숫자 3개 \d{1,3} 숫자가 1이나 2이나 3개 연속으로 나오는 패턴 + 한개 이상이 연속패턴 == {1,무한대} * 0개 이상의 연속 . 모든 음절 […]

개체의 식별 메타데이터 이용해서 속성의 동일성 여부를 판단한다. 하나의 데이터를 두 개로 쪼갤 때 보는 게 함수적 종속 관계 -명제 이야기 – x = {x1, x2} y = {y1, y2} x1 = x2 –> y1 = y2를 보장한다면 (어떤 상황에도 […]

Decision Tree가 많아져서 random forest Decision Tree node, edge, tips easy to interpret 강력함. entropy high entropy –> mixed 어떤 데이터는 잘 섞여있을 것이다. 이를 우리가 decision tree를 이용해서 섞이지 않은 분리된 상태로 만든다. 노드 하나씩 거쳐갔을 때마다 entropy가 낮아진다. […]

select * from employee; select deptname, empname, title, salary from employee e, department d where e.dno = d.deptno order by deptname, salary desc; select e.empname as manager, m.empname as employee from employee e, employee m where e.manager = m.empno; select […]

결측값 파이썬에서는 NaN이라고 나옴 원측데이터와 가장 닮아있는 데이터를 넣을 수 있도록 한다. 5번이 4번보다 조금 더 고급적인 전처리 방법 값의 추정치를 넣을 수도 있다. 2.1. 결측값의 처리 전역상수를 사용하는 방법: 미리 정해진 수를     집어넣은 것 동일 너비 방식: 0 […]