DaTALK

전체 글12

다양한 신경망 - 자연어 처리 1. 서론 * 다양한 신경망을 통해 여러 형태를 처리할 수 있는데, 앞서 배운 것은 신경망 모델을 통해 '이미지를 처리'하는 방법에 대해서 배웠다. (하단 링크 포스팅 참조) https://dataworld.tistory.com/51 다양한 신경망 - 이미지 처리 1. 서론 * 이미지 처리 기술 예시 : 얼굴 인식 카메라, 화질 개선(Super Resolution), 이미지 자동 태깅 (사진 안의 물체를 분류해서 tagging) * 이미지 처리를 위해 우리는 '데이터 전처리' -> '딥러닝 모델' dataworld.tistory.com * 이미지 이외 자연어도 처리가 가능하다. 이번 포스팅에서는 신경망을 통해 자연어를 처리하는 방법 및 실제 코드 실습까지 알아보려고 한다! 2. 자연어 처리 개론 * 예시.. 2021. 12. 11.
다양한 신경망 - 이미지 처리 1. 서론 * 이미지 처리 기술 예시 : 얼굴 인식 카메라, 화질 개선(Super Resolution), 이미지 자동 태깅 (사진 안의 물체를 분류해서 tagging) * 이미지 처리를 위해 우리는 '데이터 전처리' -> '딥러닝 모델'의 과정을 거친다. 2. 이미지 데이터 전처리 * 컴퓨터에게 이미지는 각 pixel값을 가진 숫자 배열로 인식 (작은 단위의 정사각형으로 이루어짐 - pixel 안의 색상으로 숫자 표현 * 배열로 이루어짐 - 색상 숫자 * 모두 같은 크기를 갖는 이미지로 통일 - 가로, 세로 픽셀 사이즈를 표현하는 해상도 통일 (예를 들어 HD는 1280x720으로 1280 가로 pixel & 720 세로 pixel 수만큼 표현됨: 이런 해상도 방식을 모두 통일) - 색을 표현하는 방식 .. 2021. 12. 8.
텐서플로우(TensorFlow) (+Keras) 1. 서론 ** 텐서플로우 = 유연하고, 효율적이며, 확장성 있는 딥러닝 프레임워크 (가장 많이 쓰이는 딥러닝 프레임워크 '텐서플로우' & '파이토치') - 대형 클러스터 컴퓨터부터 스마트폰까지 다양한 디바이스에서 동작 가능 * 텐서플로우로 딥러닝 모델 구현 1) 데이터 전 처리하기 2) 딥러닝 모델 구축하기 3) 모델 학습시키기 4) 평가 및 예측 2. 데이터 전처리 * tensorflow 딥러닝 모델은 tensor 형태의 데이터를 입력 받음 (데이터 전처리의 필요성) * tensor란 다차원 배열로서 tensorflow에서 사용하는 객체 (1차원은 vector / 2차원은 matrix / 3차원 이상은 tensor) * 즉, 모든 데이터(pandas나 numpy로 정리된)를 tensor 형태의 데이터.. 2021. 12. 7.
퍼셉트론 (perceptron) 1. 서론 --- 딥러닝 개론 포스팅 참조 ---- https://dataworld.tistory.com/48 Deep Learning 개론 1. AI & ML & DL 2. Deep Learning이란? * 딥러닝 = 머신러닝의 여러 방법론 중 하나로, 인공신경망에 기반하여 컴퓨터에게 사람의 사고방식을 가르치는 방법 [1] 인공신경망 = 생물학의 신경망에서 영감 dataworld.tistory.com 2. 신경망 이전의 연구 * 얼굴 인식 / 숫자 및 문자 인식 * 즉, 사람이 직접 패턴을 파악하고 예측을 하는 방식 (그러나 신경망은 사람 대신 기계가 알아서) 3. (초기) 퍼셉트론 = 신경망의 가장 기본적인 단위 [1] 초기 형태의 신경망 * 1958년 초기 신경망 퍼셉트론의 등장 * n개의 inpu.. 2021. 12. 6.
지도학습(분류) - 분류평가지표 1. 서론 --- 지도학습(분류) 개념 소개 포스팅 (하단 링크 참조) --- https://dataworld.tistory.com/44 지도학습(분류) 1. 서론 ML 기법 중 '분류' 기법에 대해 알아본다. (ML 기법 중 '회귀' 기법에 관한 포스팅은 아래 여러 포스팅 참조!) -- 단순선형회귀 -- https://dataworld.tistory.com/42 지도학습 (회귀) - 단순선형회귀 1... dataworld.tistory.com --- 지도학습 '의사결정나무' 소개 포스팅 (하단 링크 참조) --- https://dataworld.tistory.com/46 지도학습(분류) - 의사결정나무 1. 서론 * 의사결정나무기법은 지도학습 중 '분류문제'에 해당하는 기법이다. * (앞서) 지도학습 .. 2021. 12. 4.
지도학습(분류) - 의사결정나무 1. 서론 * 의사결정나무기법은 지도학습 중 '분류문제'에 해당하는 기법이다. * (앞서) 지도학습 분류기법의 개념에 관해 먼저 숙지하자. (하단 포스팅 참조) https://dataworld.tistory.com/44 지도학습(분류) 1. 서론 ML 기법 중 '분류' 기법에 대해 알아본다. (ML 기법 중 '회귀' 기법에 관한 포스팅은 아래 여러 포스팅 참조!) -- 단순선형회귀 -- https://dataworld.tistory.com/42 지도학습 (회귀) - 단순선형회귀 1... dataworld.tistory.com 2. 의사결정나무(Decision Tree) 개념 * 스무고개와 같이 특정 질문들을 통해 정답을 찾아가는 모델 * 최상단의 뿌리 마디에서 마지막 끝 마디까지 아래 방향으로 진행한다... 2021. 12. 3.
Analyzing US Economic Data - House Sales in King County, USA 1. import libraries import pandas as pd import matplotlib.pyplot as plt import numpy as np import seaborn as sns from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler,PolynomialFeatures %matplotlib inline 2. import the data and show the first five rows # importing the data file_name='https://s3-api.us-geo.objectstorage.softlayer.net/cf-courses-data/CognitiveClass.. 2021. 6. 28.
Which is the best model to be able to predict car price based on the dataset? (1) import libraries import pandas as pd import numpy as np import matplotlib.pyplot as plt (2) get the data # path of data path = 'https://cf-courses-data.s3.us.cloud-object-storage.appdomain.cloud/IBMDeveloperSkillsNetwork-DA0101EN-SkillsNetwork/labs/Data%20files/automobileEDA.csv' df = pd.read_csv(path) df.head() (3) load the modules & create the linear regression object from sklearn.linear_m.. 2021. 6. 5.
What are the main characteristics which have the most impact on the car price? import pandas as pd import numpy as np 1) import data from the external source path='https://cf-courses-data.s3.us.cloud-object-storage.appdomain.cloud/IBMDeveloperSkillsNetwork-DA0101EN-SkillsNetwork/labs/Data%20files/automobileEDA.csv' df = pd.read_csv(path) df.head() 2) install seaborn and matplotlib for visualization %%capture ! pip install seaborn import matplotlib.pyplot as plt import seab.. 2021. 5. 24.
Socioeconomic Indicators, Schools & Crimes in Chicago Data Analysis (using sqlite3) 보호되어 있는 글 입니다. 2021. 4. 25.
Socioeconomic Indicators in Chicago Data Analysis (using sqlite3) The city of Chicago released a dataset of socioeconomic data to the Chicago City Portal. This dataset contains a selection of six socioeconomic indicators of public health significance and a “hardship index,” for each Chicago community area, for the years 2008 – 2012. Scores on the hardship index can range from 1 to 100, with a higher index number representing a greater level of hardship. A deta.. 2021. 4. 25.
Analyzing Historical Stock/Revenue Data and Building a Dashboard - 직접 주식 data web scraping해서 history 변화 graph나타내는 project 하기! (toy project) 모든 주식 - selenium 배우기 * Define Graphing Function def make_graph(stock_data, revenue_data, stock): fig = make_subplots(rows=2, cols=1, shared_xaxes=True, subplot_titles=("Historical Share Price", "Historical Revenue"), vertical_spacing = .3) fig.add_trace(go.Scatter(x=pd.to_datetime(stock_data.Date, infer_datetime_format=Tr.. 2021. 4. 7.

티스토리툴바