最近一直在搞深度學習

感覺有些心得
 
首先
預測資料需要 down ratio (降維)
主要是讓預測的資料要能夠 收斂
例如 預測數值是 0~100
與 預測數值是 0~10
肯定是 0~10較容易收斂 (但不是無限制地降低就可以)
 

 
尤其是針對 組合模型這種
例如一些 預測位置 + 大小 + 種類 + 邊緣 這種模型
但是 loss 卻又是一起更新
則要注意資料必須降維度才容易收斂
不然可能跟我一樣
訓練老半天
卻一值無法理解為什麼無法收斂
 
 
 
另外是
其實在一些資料上要收斂是相當的困難
所以最近的心得是
如果想要 val loss 下降
train loss 也必須先下降
 
如果 train loss 沒有下降而只求 val loss 下降
這是不對的
 
因為正常的情況下
train loss 也必須要準確才對
 
其實模型的訓練上非常的吃標籤的比例
所以標籤要盡量做到平衡
也是一件很重要的事情
 
然後同一個模型搭配不同資料
也會有不同的最佳學習率與模型深度與batch size
 
 
就我而言
就算將少量標籤的資料直接複製補到 多量標籤的資料一樣多
我覺得這也是可行的做法
 
盡量在每一個批次的訓練資料中資料做到標籤平衡
這樣才能夠盡量避免造成訓練上的誤差