본문 바로가기

분류 전체보기

 (79)
what is Machine Learning? Coursera lecture summary What is Machine Learning? Two definitions of Machine Learning are offered. Arthur Samuel described is as : "the field of study that gives computers the ability to learn without being explicitly programmed." This is an older, indormal definition. Tom Mitchell prviides a more modern definition: "A computer program is said to learn from experience E with respect to some cla..
[Book][doit_2]분산 학습 분산 학습 환경 분산 학습은 분산 컴퓨팅을 기반으로 함. 분산 학습 환경의 큰 축 : 클러스터 컴퓨팅과 클라우드 컴퓨팅 : 컴퓨터를 여러 대 연결하여 컴퓨팅 자원을 늘려 줌 멀티스레드와 멀티코어 : 한번에 여러 작업을 진행 할 수 있도록 함 하드웨어 가속기(GPU) 클러스터 컴퓨팅과 클라우드 컴퓨팅 클러스터 컴퓨팅 cluster computing은 컴퓨터 여러대를 하나의 커다란 그룹으로 묶어 연산력을 높이는 컴퓨팅 환경 클러스터 컴퓨팅에서 컴퓨터 자원 하나는 특별히 노드라고 표현 클러스터 컴퓨팅은 클라우드 컴퓨팅cloud computing으로 발전함 클라우드 컴퓨팅은 원하는 자원을 주문한 즉시 바로 사용하고, 비용을 사용한 시간과 자원만큼만 지불하는 매우 유연한 컴퓨팅 환경 두 컴퓨팅 환경 모두 네트워크..
NLP 를 위한 CNN http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/ Understanding Convolutional Neural Networks for NLP When we hear about Convolutional Neural Network (CNNs), we typically think of Computer Vision. CNNs were responsible for major breakthroughs in Image Classification and are the core of most Compute… www.wildml.com char CNN Character level CNN for text classificat..
Word2Vec Word2Vec의 학습 방식 단어 임베딩(embedding) 방법론인 Word2Vec Word2Vec은 말 그대로 단어를 벡터로 바꿔주는 알고리즘입니다. Neural Network Language Model(NNLM)을 계승하면서도 학습 속도와 성능을 비약적으로 끌어올려 주목을 받고 있음. Word2Vec의 Skip-Gram(중심단어로 주변단어 예측) https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/03/30/word2vec/ Word2Vec의 학습 방식 · ratsgo's blog 이번 포스팅에서는 최근 인기를 끌고 있는 단어 임베딩(embedding) 방법론인 Word2Vec에 대해 살펴보고자 합니다. Word2Vec은 말 그대로 단어..
[자연어처리]Bert https://hugrypiggykim.com/2018/12/09/bert-pre-training-of-deep-bidirectional-transformers-for-language-understanding/ https://colab.research.google.com/drive/133UHPLf5M5m1qyex3k7PTTRN7vNQQYDp ========================== https://horajjan.blog.me/221423797872 Transformer : 셀프 어텐션으로 구성된 인코더 (RNN, CNN을 사용하지 않고 기존 RNN 으로 구성된 seq2seq의 한계를 넘어서는 성능을 보임 Self-Attention : 단어 간의 연관 관계를 얻을 수 있음. 딥마인드에서 이를 이용하..
Confusion Matrix _ PYCM Confusion Matrix - 머신러닝이 얼마나 잘 예측하는지를 나타내주는 Matrix - 기계 학습 분야의 통계적 분류 같은 문제에서 confusin Matrix란, 지도학습으로 훈련된 분류 알고리즘의 성능을 시각화 할 수 있는 표 - sample code : https://www.kaggle.com/sujinies2/binaryclassification?scriptVersionId=17388277 PyCM: Multiclass confusion matrix library in Python 입력 데이터 벡터와 direct matrix를 모두 지원하는 python으로 작성된 다중 클래스 confusion matrices 라이브러리. 대부분의 클래스 및 전체 통계 매개 변수를 지원하는 사후 분류 모델 ..
[Machine Learning]t-sne 차원축소, 시각화 도구: t - SNE (Stochastic Neighbor Embedding) MNIST t-SNE Visualization, Source: https://www.flickr.com/photos/kylemcdonald/26620503329 SNE (Stochastic Neighbor Embedding) 고차원 공간에서 유클리드 거리( Euclidean distance)를 데이터 포인트의 유사성을 표현하는 조건부 확률(conditional probability)로 변환하는 방법 t-SNE 끝단이 퍼지는 다른 분포를 이용 고차원 공간: 가우스 분포 유사도로 변환 저차원 공간: 자유도 1의 분포 유사도로 변환 적당히 떨어진 점을 맵에서 더 멀리 배치 가능 데이터 점과 닮지 않은 점 사이의 인..
5분만에 네이버 뉴스 기사 크롤링하기 오픈소스 라이브러리 BeautifulSoup pip install bs4 from bs4 import BeautifulSoup # urllib을 사용한 Request 보내기 import urllib.request url = "https://news.naver.com/" req = urllib.request.urlopen(url) # url에 대한 연결요청 res = req.read() # 연결요청에 대한 응답 soup = BeautifulSoup(res,'html.parser') # BeautifulSoup 객체생성 # print('html 모두 읽어옴 ') # print(soup) test = soup.find_all('strong') print('strong안에 있는 내용 모두 출력') print(t..

티스토리툴바