프로그래머스 데브 코스/TIL (137) 썸네일형 리스트형 [6기] 프로그래머스 인공지능 데브코스 81일차 TIL 1120 [14주차 - Day1] NLP: 텍스트 전처리 NLP: 텍스트 전처리 # 나중에 또 확인해 봐야 할 것 같은 헷갈리는 부분들 정리 [6기] 프로그래머스 인공지능 데브코스 80일차 TIL 1119 [13주차 - Day5] Spark 실습 과제 ML Pipeline 기반 머신러닝 모델 만들기 # 실습 필요한 패키지 다운로드 !pip install pyspark==3.0.1 py4j==0.10.9 Spark 생성 from pyspark.sql import SparkSession from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Titanic Classification via ML Pipeline and Model Selection") \ .getOrCreate() 데이터셋 다운로드 !wget https://s3-geospatial.s3-us-west-2.amazonaws.com/titanic.csv.. [6기] 프로그래머스 인공지능 데브코스 79일차 TIL 1118 [13주차 - Day5] Spark Spark 3 타이타닉 생존 예측 모델 # 실습필요한 패키지 다운로드 !pip install pyspark==3.0.1 py4j==0.10.9Spark 생성 from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Titanic Binary Classification example") \ .getOrCreate()데이터셋 다운로드 !wget https://s3-geospatial.s3-us-west-2.amazonaws.com/titanic.csv data = spark.read.csv('./titanic.csv', header=True, inferSchema.. [6기] 프로그래머스 인공지능 데브코스 78일차 TIL 1117 [13주차 - Day5] Spark Spark 3 보스턴 주택 가격 예측 모델 # 실습필요한 패키지 다운로드 !pip install pyspark==3.0.1 py4j==0.10.9Spark 생성 from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Boston Housing Linear Regression example") \ .getOrCreate()데이터셋 다운로드 !wget https://s3-geospatial.s3-us-west-2.amazonaws.com/boston_housing.csv data = spark.read.csv('./boston_housing.csv', heade.. [6기] 프로그래머스 인공지능 데브코스 77일차 TIL 1116 [11주차] 심층학습 필기 대충만 또 끄적이기 [6기] 프로그래머스 인공지능 데브코스 76일차 TIL 1115 [13주차 - Day3] Spark Spark 2 SparkSQL 명령어들 업로드 # 실습# 데이터프레임을 테이블뷰로 만들어서 SparkSQL로 처리해보기 namegender_df.createOrReplaceTempView("namegender") namegender_group_df = spark.sql("SELECT gender, count(1) FROM namegender GROUP BY 1") namegender_group_df.collect() # Redshift와 연결해서 테이블들을 데이터프레임으로 로딩하기 df_user_session_channel = spark.read \ .format("jdbc") \ .option("driver", "com.amazon.redshift.jdbc4.. [6기] 프로그래머스 인공지능 데브코스 75일차 TIL 1114 [13주차 - Day2] Spark Spark Spark 관련 핵심 명령어들 업로드 # 애플 주식 데이터 활용한 실습# pandas 데이터프레임으로 로딩해서 Spark 데이터프레임으로 변경한다 import pandas as pd apple_pandas_df = pd.read_csv("https://pyspark-test-sj.s3-us-west-2.amazonaws.com/appl_stock.csv") apple_spark_df = spark.createDataFrame(apple_pandas_df) # 스키마를 프린트해보기 apple_spark_df.printSchema() # describe를 사용하여 데이터프레임의 컬럼별 통계보기 apple_spark_df.describe().show() .. [6기] 프로그래머스 인공지능 데브코스 74일차 TIL 1113 [13주차 - Day1] Spark 강의 개요 Big Data 팀 현업에서의 업무와 문제점 등에 대한 강의 캡처 몇 장만 그리고 취준생으로서 가장 와닿았던 파트에 대한 캡처도... 이전 1 ··· 5 6 7 8 9 10 11 ··· 18 다음
