看板 Soft_Job
標題
[請益] 人工智慧與數據模型產品化職涯請益
作者 simon3458
時間 2021/02/23 11:55:06
人氣 推:8 噓:0 留言:28
分享給朋友
各位軟體業的先進大神們大家好: 一、前言與發文目的: 近期在檢討與找尋有關個人的職涯與工作狀態, 想持續朝著大數據與人工智慧相關的技術開發與導入工作邁進, 懇請版上各位大神鞭小力一點,給予我一些回饋。 二、背景介紹: 1. 學歷: 四大碩畢,目前27歲,大四開始走有關人工智慧相關技能。 2. 經歷: 今年年中滿三年,主要以數據與人工智慧產品開發經歷。 3. 想持續做人工智慧與數據產品化相關的工作,概念以AIOps或MLOps為基準。 三、目前技能樹經驗: 1. 程式語言: 主要都是以Python做為開發經驗,並且在Python上實作OOP,也嘗試使用MVC 2. ML/DL: (1) ML相關: SVM、Scikit-learn、LightGBM、XGB等,有使用在專案或論文上。 (2) DL Framework: Keras、Tensorflow。 (3) CV專案: 使用OpenCV、Yolo-base model等到專案上,目前較長接觸。 (4) Text專案: 曾用BERT模型去做文章分類的專案,較少用。 (5) 模型服務: TF-serving、OpenVINO相關。 3. Database: 算熟悉的有PostgreSQL、SQLite、Cassandra等。 4. 開發環境: 主要windows、Linux環境都算熟悉,並且把服務與模型Docker化, Dockerfile會自己寫,並且透過Docker-compose等方式去做設定。 5. web framework: 目前主要以fastapi為主,flask為輔去做API開發。 6. 前端: 因為公司有平台可以做一些前端呈現,因此會一點點HTML和Javascript語言 7. 雲端: 主要公司合作以Azure為主,曾經參加過AWS和GCP活動,有一些些概念。 8. DevOps相關: (1) 版控: Git(Gitlab)、DVC。 (2) 測試: Pytest、Pytest-mock去做一些整合和單元測試。 (3) CI: 自己撰寫ci yaml檔案去做container scan、code quality、 單元測試、Pylint、建立模型和註冊模型。 (4) CD: 透過自己撰寫Ansible去deploy邏輯服務與模型服務。 (5) Monitor: 找到相關開源專案來部屬Node Exporter, CAdvisor, 讓後面DevOps組可以協助接到Grafana上。 9. 文化: 利用Scrum和Kanban,來管理我的工作模式。 四、對於人工智慧專案與產品化的過程中,我依專案順序實作過以下經歷; (1) 資料收集與標籤: 因為部分專案無提供資料,因此需從收集資料與標籤開始, 自己撰寫相關資料收集工具,並且在開源平台上找到相關標籤平台, 並且提供給User做標籤。 (2) 資料分析: 透過python相關套件和繪圖工具,去做資料分析與呈現。 (3) 資料處裡: 透過python撰寫去做ETL處理。 (4) 模型訓練: 雖說我知道MLFlow,但團隊沒有實際去做,所以就也還沒使用, 知道其相關概念,目前主要還是透過jupyter或VScode, 直接撰寫完後,放到公司或雲端的GPU server上面做訓練。 (5) 模型、資料與程式碼版控: (A) 模型版控: 利用自己開發的工具,將模型存放到第三方服務, 然後在透過git去做管控。 (B) 資料版控: 透過DVC和git,去做資料版控。 (C) 訓練與服務程式碼版控: 透過git做版控。 (6) 模型部屬: 透過gitlab 和CI/CD 工具去做服務與模型部屬工作。 (7) 維護: 透過grafana和telegram bot做提醒和維護,如有任何問題會去做修正。 五、目前計畫: 1. 目前在這個公司已經發展到一定程度,想透過其他方法來去更深化和優化這些技能。 2. MLOps相關的能力還在持續補充中,也會持續利用閒暇時間參與開源會議或研討會等。 六、問題詢問: 其實技能數點的很大一顆,但有前輩提點我,應該要更深化裡面的內容,來幫助自己 的專業度更提升,但MLOps要會的東西又很大一包,有時候也不知道這樣點對不對, 或者有甚麼建議可以往下一步邁進? 如果對於我的經歷和技能有些提點或建議,我真的需要一些幫忙,也歡迎推文或站內 信給我一些協助。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 113.196.51.196 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1614052512.A.F1C.html
LordCHTsai: 看起來是想做AI/ML的Infra,那技能樹其實差不多了 02/23 12:07
LordCHTsai: 問題可能是新創不一定想招一個專做AI/ML Infra的 02/23 12:08
LordCHTsai: 畢竟GCP/Azure/AWS都有ML的方案 02/23 12:09
LordCHTsai: 你能做的頂多是簡化computing resource allocation 02/23 12:11
LordCHTsai: 或是提供hyperparameter的管理 02/23 12:12
LordCHTsai: 那上述的事除非公司裡有大量ML researchers 02/23 12:15
LordCHTsai: 不然也沒有必要花錢做這部分的優化 02/23 12:16
LordCHTsai: 不過以DevOps的角度來看,我覺得你的技能樹很完美 02/23 12:17
首先,感謝您的讚許,說真的,我不完全是要朝向AI Infra做, 畢竟三大雲都已經做很多了,所以跟他們搶工作只是自己碰一鼻子灰而已, 我想要的是,當ML/DL需求進來時,能夠按照技術,製作出產品出來, 並且交付整套產品線出去給User使用,所以你會看到前後端撰寫與Infra的導入 可以加速ML產品線的導入時間,大概是這樣。
LordCHTsai: 那我覺得Ops的技能就顯得不是很重要 02/23 12:32
LordCHTsai: 你只要知道如何apply trained model到產品上就好了 02/23 12:32
LordCHTsai: 那就是個...一般的software engineer 02/23 12:33
所以在您來看,在Ops的技能樹點太深,應該反而要多回去深化模型那邊相關的技術囉?
LordCHTsai: 什麼都做的話產品能不能趕上時程是個問題 02/23 12:36
LordCHTsai: 另外一個就是你有沒有能耐全部都做到prod grade 02/23 12:37
LordCHTsai: 是,我覺得工作你就ML SWE和DevOps擇一就好,看興趣 02/23 12:42
現在的水溫狀態就是可以做到大概75分左右,所以有些案子已經順利交付完成, 但就是一直思考著是否繼續把各項點深,然後做到80、90分這樣走? 還是說該回頭檢討這個模式這樣了
LordCHTsai: 看案子的大小,可能這個模式在你現在的公司可以繼續 02/23 12:53
LordCHTsai: 你也可以選擇繼續跳到其他類似大小案子的公司 02/23 12:54
LordCHTsai: 所以選擇比較像是 1)做同大小的案子可以繼續包辦全部 02/23 12:55
LordCHTsai: 或是 2)跳到大案子大公司,然後專精流程中的一部分 02/23 12:55
LordCHTsai: 沒有說哪邊比較好,取決於你的興趣 02/23 12:56
LordCHTsai: 選1你也是可以練到各項80 90分,然後在各新創嶄露頭角 02/23 12:58
LordCHTsai: 選2就像是你想加入類似FAANG的公司,當小螺絲做大案子 02/23 12:59
了解,我的目標會是比較偏向在2,但這樣的話,有可能會有中間過渡期,因為技能樹目前 點的比較廣的情況下,這樣可能必須要慢慢拉回來自己的目標了,不是放棄,而是要有 一個重心這樣。
aidansky0989: ai產品是指影像?nlp?碰一堆應該有一塊是值得深入鑽 02/23 13:49
aidansky0989: 研 02/23 13:49
我主要比較熟的是結構化數據預測,影像類是近期的專案產品,要的話會以此2類為主。
Morphee: 這樣年薪多少 02/23 19:38
目前大約85-90左右
Morphee: 感覺公司給太少了 02/23 20:04
沒辦法,公司目前處於逐漸不賺錢的狀態...
leighmeow: 覺得你的技能樹很夠欸 要不要跳到大公司做做看大的sca 02/24 00:57
leighmeow: le的東西 這種經歷佩穎的技能 是自學很難學到的 02/24 00:57
也是一個方向,筆記下來~
famous727: 不到3年就能學這麼多東西~太厲害了 02/24 02:07
說真的,其實我只花了一年半時間學這些,一開始進去公司時, 頭一年開始,老闆是偏向讓我們嘗試,但其實我學到的反而很少, 直到轉部門到有豐富軟體開發經驗的主管底下,才在他提點下, 花費許多時間將所有技能盡力補足,那段時間雖然很累, 可是幫助我在這條路上能夠技能豐收,只是主管也離開部門了QQ。 ※ 編輯: simon3458 (123.204.46.222 臺灣), 02/24/2021 06:37:02
分享給朋友
政治八卦 男女情感 投資理財 生活其他 返回Soft_Job看板

全看板熱門文章

Soft_Job 的熱門文章

分享給朋友
政治八卦 男女情感 投資理財 生活其他 返回Soft_Job看板