BelieveCom

파이썬(python)에서 selenium을 사용해서 xpath를 사용하면  DeprecationWarning 오류가 발생합니다.

발생하는 오류와 상관 없이 컴파일에는 문제가 없습니다. 하지만 오류는 그냥 넘기면 문제가 발생할 수 있어 그냥 지나가면 안 됩니다. 내용을 확인하면 find_element_by_xpath 사용해서 명시적이지 않게 접근하는게 문제인 거 같습니다.

find_element_by_xpath 함수 대신 find_element 함수를 사용하라고 합니다.

from selenium.webdriver.common.by import By

find_element 함수를 사용하기 위해서는 옵션 설정 by를 참조해야 합니다. 상단에 selenium.webdriver.common.by를 import 해주세요.

xpath = "//*[@id='tab']/table/tr[1]/td[2]"

path = driver.find_element_by_xpath(xpath)

기존 사용하던 함수를 find_element로 변경하면 됩니다.

xpath = "//*[@id='tab']/table/tr[1]/td[2]"
path = driver.find_element(By.XPATH, xpath)

이제 컴파일하면 정상적으로 오류 없이 xpath element를 사용할 수 있습니다.

감사합니다.

파이썬(Python)은 간단하게 강력한 기능을 구현할 수 있는 좋은 언어입니다. 오늘은 파이썬(Python)을 사용해서 WEB 매크로 기능을 구현해보겠습니다. 간단하게 네이버 검색 창에서 오늘 날씨를 입력하고 확인하는 매크로를 작성하겠습니다. 매크로를 만들기 전에 필요한 ChromeDriver 및 selenium을 설치해야 합니다.

먼저 pip 기능을 사용해서 selenium을 설치합니다. 셀레늄(selenium)을 사용해서 ChromeDriver를 제어할 수 있습니다.

https://chromedriver.chromium.org/downloads

ChromeDriver 홈페이지에서 사용중인 크롬과 동일한 버전을 다운로드해주세요. 메이저 버전만 확인하면 됩니다. 다운로드 후 압축을 해제하면 ChromeDriver.exe를 확인할 수 있습니다.

먼저 간단하게 코드를 사용해서 네이버 사이트를 방문하겠습니다.

from selenium import webdriver
driver = webdriver.Chrome("D:/chromedriver.exe")
url = "https://www.naver.com"
driver.get(url)

selenium을 import 진행 후 webdriver.chrome 메서드를 사용해서 Chromedriver.exe를 로드합니다. driver.get(url) 적용 후 컴파일을 진행하면 Chromedriver.exe가 실행되면서 네이버 메인 페이지로 이동합니다.

ChromeDriver.exe가 실행되면서 별도 브라우저로 이동합니다. 매크로를 실행하기 위해서는 html 요소에 따른 내용을 확인할 수 있어야 합니다. ChromeDriver는 "//태그[@속성="속성값"]" 으로 HTML 태그를 인식할 수 있습니다.

먼저 검색 창 요소를 찾기 위해서 마우스를 이동합니다. 툴팁으로 "검색어 입력"을 확인할 수 있습니다.

Chrome를 실행 후 F12를 눌러주면 개발자 모드를 확인할 수 있습니다. 개발자 모드로 이동해서 Ctrl + F 키를 사용해서 "검색어 입력"을 검색해서 동일한 태그로 이동해주세요.

"검색어 입력" 테크를 확인하면 이제 xPath 경로를 설정해야 합니다.

xPath 경로를 확인하기 위해서는 태그를 선택하고 마우스 우크릭에서 "Copy" -> "Copt XPath"를 선택하면 태그 xPath를 확인할 수 있습니다. 검색창 태크 xPath는 "//*[@id='query']"입니다.

이제 검색 버튼 클릭 이벤트를 생성하기 위해서 검색 이미지 태그를 확인합니다. 마우스를 사용해서 "검색" 항목을 확인할 수 있습니다.

동일하게 태그를 선택하고 xPath를 복사합니다. 검색 버튼 xPath는 "//*[@id='search_btn']" 입니다.

    url = "https://www.naver.com"
    driver.get(url)

    xpath = "//*[@id='query']"
    input_window = driver.find_element_by_xpath(xpath)    
    input_window.send_keys("오늘 날씨")

    xpath2 = "//*[@id='search_btn']"
    text_panel = driver.find_element_by_xpath(xpath2)
    text_panel.click()

driver.find_element_by_xpath를 사용해서 xpath를 확인합니다. 텍스트를 입력하기 위해서 send_keys를 사용해서 "오늘 날씨"를 입력합니다. 두 번째 xpath를 확인하고 click 메서드를 사용해서 태그 클릭 이벤트를 발생합니다.

컴파일을 진행하면 네이버 페이지를 오픈하고 "오늘 날씨" 입력 후 검색 버튼이 클릭되는 모습을 확인할 수 있습니다. 파이썬(Python)은 복잡한 매크로 기능을 쉽게 제어할 수 있게 구조화되어 있어 누구나 손쉽게 간단한 매크로를 구현할 수 있습니다. ChromeDriver.exe는 독립적인 실행으로 웹에서 발생하는 쿠키 정보 및 부가 정보를 삭제하기 때문에 웹 매크로를 구현하기 매우 편리합니다. 태그 요소에 부합한 xPath는 Chrome 개발자 기능으로 한 번에 확인이 가능해서 더욱더 개발을 쉽게 도와줍니다. 매크로 기능 개발에 관심이 있다면 지금 바로 파이썬(Python)으로 ChromeDriver 확인해보세요.

감사합니다.

오늘은 C# ML.NET 머신러닝 중 회귀를 사용한 값 예측을 구현해보겠습니다. 먼저 ML.NET를 설치해주세요. ML.NET 설치 방법은 아래 글을 확인해주세요. 

ML.NET 설치 상태에서 C# Console 빈 프로젝트를 생성합니다.

프로젝트 속성에서 마우스 우클릭 후 추가 메뉴를 선택하고 "Machine Learning Model"을 추가해주세요.

모델 이름은 클래스 형태로 구성되므로, 사용하기 편리한 이름으로 지정하면 됩니다.

mbconfig 파일을 생성하면 머신러닝 학습을 구성할 수 있습니다. 두 번째 내용인 값 예측을 선택합니다.

가장 먼저 ML.NET 머신러닝 환경을 선택합니다. 기본적으로 로컬을 선택하면 됩니다. 환경 선택 후 "다음 단계" 버튼을 클릭하고 데이터 추가 단계로 이동합니다. 데이터 단계에서는 기본 학습에 필요한 기본 데이터가 있어야 합니다.

microsoft.com 가격 예측 페이지로 이동해서 아래쪽으로 내려가면 데이터 준비 및 이해 아래쪽에 "taxi-fare-train.csv" 파일을 다운로드할 수 있습니다.

"taxi-fare-train.csv" 파일을 선택하면 GitHub로 이동 후 "Download"를 눌러주면 파일을 다운로드할 수 있습니다.

"taxi-fare-train.csv"를 선택하고 예측할 열(레이블)에서 "fare_amount"를 선택합니다.

고급 데이터 옵션을 사용해서 불필요한 여측 값을 제외할 수 있습니다.

이제 로드된 데이터를 사용해서 학습을 시작합니다. 학습 시간은 10분으로 설정하고 학습 시작 버튼을 클릭합니다.

회귀 분석이란 데이터 값이 평균과 같은 일정한 값으로 돌아가려는 경향을 이용한 통계학 기법입니다. 저장된 택시 비용을 통계학 기법을 적용해서 학습합니다.

10분 후 학습이 완료되었습니다. 최적 품질은 학습 시간에 따라서 변경됩니다.

평가 모델에서 예측 값을 입력하면 fare_amount 결과 값을 확인할 수 있습니다.

이제 사용하기 위해서 코드를 복사하거나, Add to solution 버튼을 클릭해서 솔루션에 새 프로젝트를 생성합니다.

신규로 생성된 프로젝트를 사용해서 컴파일이 가능합니다.

코드를 사용해서 직접 값 예측이 가능합니다.

using System;
using ConsoleApp1;

var sampleData = new MLModel.ModelInput()
{
    Vendor_id = @"CMT",
    Rate_code = 1F,
    Passenger_count = 1F,
    Trip_time_in_secs = 1271F,
    Trip_distance = 3.8F,
    Payment_type = @"CRD",
};

MLModel.ModelOutput result = MLModel.Predict(sampleData);

Console.WriteLine("예측 결과 요금 : {0} ",result.Score);

ModelInput를 사용해서 학습 데이터를 생성하고 ModelOutput을 사용해서 결과를 예측할 수 있습니다.

반환된 결과는 Score를 사용해서 확인이 가능합니다.

ML.NET 회귀를 사용한 값 예측 방법은 다양한 회귀모델을 구현할 수 있어 머신러닝에 기초로 사용하기 매우 편리합니다. 기본적으로 데이터를 선 분석해서 사용하기 때문에 누구나 쉽게 머신러닝을 접근할 수 있는 좋은 개발 형태입니다. 머신러닝에 관심 있고 코딩을 잘 모른다면 C# ML.NET를 이용한 머신러닝 공부 지금 시작하세요.

감사합니다.