程式設計與資料科學導論

week 14

謝舒凱

本週學習內容

  • 自然語言處理急速入門 (Natural Language Processing, NLP) (II)
  • 如何利用大型語言模型做資料科學專案（從 web scraping 到 sentiment analysis web app）

大型語言模型 (Large Language Models)

how to leverage LLMs to solve NLP tasks/do data sciences?

起手式

(2023.12) -> LLM/AI 即將全面進入人類生活

  • chatGPT, (chatGPT plus), GPT4, GPTs --> GPTs stores
  • Anthropic Claude
  • Microsoft [Bing]
  • Google [Bart]

提示語 Prompting

Language Models are Few-Shot Learners

  • 基本使用

提示語進階技巧

Advanced Prompting Techniqes

開外掛

Plug-ins

與資料科學較相關的，上傳數據做分析的外掛

  • chatGPT4 的 Data Analysis

  • Claude

  • 其他

Data Analysis 可以怎麼用

舉例：由問卷方式取得的對於俄烏戰爭的意見

用程式

  • 介面或 playground 較適合家用，展演，但效率畢竟有限，要做更多事情，就要用程式。

  • 申請 OpenAI API key 為免費，三個月試用期間 OpenaAI 提供價值 5 美元的 token 額度，（對期末專案很夠用！）用完後再用需付費。

  • 其他選擇

申請 OpenAI API key (金鑰) 程序

  1. 至 OpenAI 網站 註冊 OpeanAI 帳號

  2. 完成註冊程序後，點擊 API

  1. 點擊右上方 Personal ➞ View API keys
  1. 點擊 Create new secret key。

  1. 為新 API key 命名（非必要但建議還是有），命名後點擊 Create secret key。
  1. 點擊複製按鈕，複製 API key。

⚠️ 注意

  • 此時是你唯一可以複製 key 的時機，若未能複製，則之後必須重新申請新 key。

  • 複製後要馬上將 key 儲存在安全的地方，例如純文字檔案。務必確認 API key 不要外流，以免他人透過你的 key 使用你的 Token 額度。（可用 Usage 查看目前用量）

‼️ 我們講的其實都是 https://platform.openai.com/docs/overview 的摘要，有興趣可以自行研究。

自行參考

外掛串接

  • openAI functional calling
  • LangChain

下次

  • 微調 (fine-tune) LLMs 在你的資料上。

  • 串接 Line (製作 LineBot) / DiscordBot

  • Streamlit/Gradio/HuggingFace

期末專題口頭說明