這篇文章常識從使用者與文件之間進行的互動 (
閱讀 & 組織 ) 來自動化建立文件對使用者興趣的價值評估上。
作者指出，過去採用讓使用者直接輸入對某份文件的評價的方式，雖然得到的結果較為準確，卻因為人性始終是懶惰的，得到的有效數據往往過於稀少。因為大部分的人發現做這種幫文件打分數的動作，對他們本身並無利益，受惠的往往是後人，所以非常容易放棄，來自一個使用者，被評價過的文件數量遠低於該使用者閱讀過的文件數量。於是，怎樣不經由要求使用者進行評價的動作，直接讓系統經由使用者的閱讀活動，文件組織活動，來自動評比每份文件對該使用者的興趣的價值高低，就是這篇論文要探討的重點。如果這個目的達到，文件資源的評價系統將可更廣泛實施在許多文獻上。
這篇論文要利用使用者進行文件歸類的活動來推測文件的價值，相對於對單一文章深入地閱讀，文件分類牽連到：
延伸閱讀 ( extensive reading ) - 多種文件同時開啟
超延伸閱讀 ( hyper-extensive reading ) - 開啟子文件元件, 和片段的資訊
當使用者整理一堆資料，他們開始組織相關聯的文件。他們利用網站書籤，依據主題置放論文，或甚至產生分類清單。再來，文件可能遭使用者忽略或是刪除。
面對極大量的文件，使用者覺得手上的東西夠好時，通常會停止這類整理動作，結果必然地，一些更優質卻身藏不漏的文件被遺留並且從未有機會被閱覽。
當使用者在做文件分類時，他們的活動暗示出使用者的興趣 (
所關心的議題 )。我們利用程式工具可以詮釋這些活動並且推論出興趣，系統就能提供線索指出哪些文件對於目前進行的事項有更高的相似性。
要完成這個遠大的目標有四項工作要準備：
辨認使用者興趣和文件價值
陳述使用者所關注的議題
辨識出哪些事跟關注的議題相關的文件
將關注的資訊視覺化
這四項工作會牽涉到三種不同的應用程式
文件概覽軟體 ( 用來列出隱性或是顯性的文件搜尋列表 )
文件閱讀軟體 ( 呈現文件內容 )
文件組織軟體 ( 蒐集分類結果和合理的活動 )
辨認使用者興趣和文件價值
系統必須獲得對使用者關注議題的理解力，無論是經由隱性或顯性的方式。用顯性的方式來了解使用者關注的議題，需要使用者 ( 閱讀 / 捨棄 ) 文件後，對該份文件作評價的動作，該文件的評價被被註記。此法使用者必須閱讀大量的文件然後做評比。
如果用隱性的方式呢，則需要特殊的軟體技術。例如，文件概覽軟體對文件興趣的隱性表示式，這和閱讀軟體的隱性興趣表示式不同。
陳述使用者所關注的議題
分類文件的工作牽涉到多種軟體應用程式，例如一些人也許正準備呈現油價上漲的影響。首先他們會用一個網頁瀏覽器拿來做搜尋相關文獻。這裡會包含多種不同類型的閱讀軟體，例如網頁瀏覽器，Acrobat Reader，媒體播放程式...等。最後，搜尋到相關資源的連結，會被使用者複製貼上到某種文字處理器的分類清單內。
每個應用程式都有自己的手法來辨別使用者的關注的事情，但是在整個分類過程，呈現所推斷出的使用者興趣的資訊，必須跨越所有的應用程式才能真正具有利用價值。
使用者的興趣描述可以利用這些文件集，文件元件或是抽象元素 ( 字詞向量或是註記資料 )，或對文件進行的動作 ( 如捲動的方式或是閱讀耗費的時間 ) 等因素來推斷。
辨識出哪些事跟關注的議題相關的文件
如同應用程式為了他們自己的用途，配合其他應用程式的使用來接收使用者興趣資訊，可以開始辨別文件關連到這個議題 ( 介於概覽軟體的搜尋結果之間 )，或一個文件的子元件符合這個興趣 ( 在閱讀軟體內 )。這個手法利用關注議題的陳述來測量一個文件或文件中的子元件是否和這個議題所存在的範圍有所關聯。
將關注的資訊視覺化
一旦系統已經辨識出使用者所關注的議題後，必須知會使用者。有多樣化不同的通知方式可以用來提示使用者，包括建議機制和視覺化技術。例如，在概覽軟體內，相關的文件能夠視覺化地區分出來，當作被推薦的文件。或是在一個文件閱讀軟體，文件內相關章節的文字能夠以黃色背景被高亮度標示出來。
這篇論文要討論的重點其實只有在最初的兩個步驟，辨識文件價值和陳述使用者的興趣。我們特別把焦點放在：在分類活動中，根據使用者在多個相關的應用程式之間的行為模式來辨識使用者的興趣。
接下來，文章討論如何達到辨識使用者興趣的目的。
本文提出用來辨識使用者興趣的四種模式，並且比較這些方法論模式對判斷文件對使用者的價值之間的差異性。
利用隱性手法來收集使用者興趣的方式是多變且互可替換的。閱讀一份文件的時間耗費是一個不錯的指標。但是許多專家持反方意見，像是 Kelly & Belkin
發現文件的顯示時間和價值之間並沒有一般性和直接的關連。然而，從他們的實驗紀錄發現，文件顯示時間會依據特殊的工作項目和使用者而改變，所以若將程式判斷的焦點更注重工作項目屬性，像是文件分類工作，則這應該不會是個問題。
另外，使用者事件，像是頁面捲動，滑鼠事件也是不錯的資訊，但仍有許多專家和研究在爭論著滑鼠動作對推論使用者的興趣是否真具有效性。
最後，使用者註記是最終的隱性指標類型。
XLibris 系統，當使用者他們重讀文件，藉由提供視覺化呈現使用者的註記來輔助。該系統分辨高亮度標示區，畫圈的地區，畫底線和合併棒，高亮度標示，評論...等。
興趣側寫管理員
優先工作專注在單一閱讀應用程式當作興趣指示器的來源。然而，如同早先所指出，分類發生在多個應用程式的情境之內。我們已經產生興趣側寫管理員當做量測的基準，分享並儲存使用者興趣基於從多個應用程式而來的興趣指標。興趣側寫管理員就像是一個獨立的伺服器，提供一個函式庫 ( 公開的 API ) 讓其他應用程式來呼叫用來儲存收集到的興趣資訊。可以直接改寫現存的程式引用此函式庫來和興趣側寫管理員的銜接，或是產生連接器應用程式來協接興趣側寫管理員到現存的應用程式，像是 IE。
如此，閱讀，組織，和地點 / 概覽等應用程式都可以連接到興趣側寫管理員。
使用者的工作，客戶端應用程式發送興趣相關的活動資訊 ( 一堆屬性和賦值的集合 ) 到興趣側寫管理員，並將這些資訊儲存在興趣側寫檔案內，然後對興趣側寫檔案的所有變更會讓所有客戶端軟體一起同步。
興趣側寫管理員的構成，包含一個使用者興趣評估引擎，該引擎可以根據興趣側寫檔案內的資訊和所使用的興趣模型評估使用者興趣。興趣側寫是興趣模型計算後結果的推論，並且這些計算是利用所有客戶端之間的通訊。
對於我們最初的實做，我們改變 VKB 運作，當作一個概覽和組織的應用程式。在 VKB，搜尋結果會以二維空間的 collection
資訊物件傳回。每個資訊物件會參考搜尋結果，並且雙擊在任一個資訊物件上，可以打開相對的 URL。
VKB 也允許使用者增加文字和關聯的描述資料 ( metadata )，更甚者，視覺化屬性包含邊寬，物件大小，背景和邊框顏色等，都能夠對物件和集合做編輯。額外增加的手動文字，描述資料以及視覺化屬性能夠運作，能當作隱性的興趣指標，如下圖，秀出文獻組織活動後的工作區實況。
在我們的實作中，我們使用的閱讀應用程式是一個實驗版的 IE。IE 收集並紀錄使用者活動，並與興趣側寫管理員之間通訊。下個章節描述如何使用這些應用程式的來發展使用者興趣模型。
興趣模型
由於顯性興趣指標的缺點，所以這篇文章探討的模型只依賴隱性的指標。資訊來自閱讀介面 ( IE only ) 和組織介面 ( VKB only )，以不引人注意的方式收集。收集的資料包含文件本身的特徵 ( 如文件屬性 ) ，閱讀的活動，還有文件組織活動
( Table 1 )。
我們主要考量文件長度 ( 頁數，字母數，字數 )，連結數，圖片數，檔案大小。文件閱讀活動包含使用者在閱讀應用程式中的活動，這由時間花費，滑鼠點擊數，選取文字數，使用者捲動文件的行為和文件存取的頻率等構成。文件組織活動參考使用者對 VKB 工作區內呈現的文件物件的活動 ( 如組織應用程式 )，如創造分類，指派物件到分類或是改變分類的空間或是視覺的屬性，或是文件物件互相包含等。經由這些活動，使用者表達出他們對文件的解釋和之間的關連。
之前的研究顯示出使用者興趣和使用者事件 ( 像是閱讀時間 ) 之間的相關性。Table 2 顯示事件和使用者給予文件的顯應該性評價之間的交互關聯。
從表中，我們可以看出只要有一個例外，其他所有的分析項目的 p-value 皆低於 0.005。
[ 字數 ] 的 p-value 是 0.01，但是包含由 2004 秋季訪談的實驗對象的文件分類研究卻強烈地指出：文件內容的分量對使用者來說是一個重要的文件分類的考量條件。另外這裡只有一個負的關連性，[ 物件刪除的數量 ]，這樣的負關聯性是合理的，因為一旦移除一個文件，這個意義應該相當於這份文件對使用者來說只有一點點或是根本完全沒有興趣。
先前研究中，時間耗費對文件跟使用者的興趣之間的關聯是很積極的一個重要衡量因素。注意在四種不同的捲動事件類型跟使用者的興趣是高度交互相關。
數學模型
這裡提供三種數學衍生模型來呈現計算使用者興趣。從 2004 秋季所收集來的資料用來研究並產生這些模型。這個資料包含 Table 2 內的參數判定，和直接請使用者做顯性的評估，每個使用者必須從 34 份已經經過分類活動之後的文件素材內，選擇五個最有興趣的文件和五個最沒興趣的文件。
為了產生可以量化的興趣值，被指為無興趣的文件被設定為興趣值 0，被評估為高度興趣的文件被設定興趣值 2，然後剩下的被設為興趣值 1。
取代人工將文件的興趣值分類為高中低的方式，所有等下提到發展出來的三種數學模型會產生 0 ~ 2 之間的浮點數。1 以下的數值指出這是比平均更不感興趣的文件，而高於 1 以上的文件則反之。
第一種模型被限制在 IE 的閱讀活動和文件屬性。第二種模型被限制在 VKB 內的組織活動。最後一種模型結合兩者用來評估文件的興趣值。
閱讀活動模型
- 文件屬性
- 字母數量
- 圖片和連結
- 使用者活動
- 捲動事件數量
- 閱讀時間耗費
- 使用者顯性評價
因為這七大變因彼此相關，要做模型必須進行線性回規分析找出真正需要獨立的變數，經過線性分析後這七個變數產生兩個獨立的變因，這些變因經計算後，產生 Table 3 內的每個參數產生係數：
圖 4 展示係數是如何計算得到的：
最後得到的文件評比公式：Document Score = 0.877 + 0.133 * F1 + 0.120 * F2
組織活動模型
六個變數，一樣經由線性迴歸分析取出兩個獨立的變因。經由表 4 發現文件評價公式：Document Score = 0.877 + 0.185 * F1 - 0.092 * F2
合併模型
13 ( 6 + 7 ) 個變數取出 4 個獨立變因，表五秀出係數如下：
Document Score = 0.877 + 0.125 * F1 + 0.152 * F2 + 0.0662 * F3 + 0.0653 * F4
定性模型
前面三個模型是根據之前的統計分析研究所做。在較早的研究中，他們衍生出這些係數以便配合顯性使用者評估的期望值來將誤差最小化，基本上就是湊答案的方法，知道答案後再去回推可能的公式。由於實驗對象必須提供最高五篇和最低五篇文章以及剩下 25 篇的限制，這個數學模型被判定為保守的預測模型。就本身而論，以上的模型遇到文件變化都傾向對他們的評估採保守的態度。
第四種模型是基於定性與定量的之前的研究資料的組合。定性的資料包含訪談實驗對象問為何認為這份文件有價值，並且分析錄影帶使用者進行分類工作的過程。
表六顯示出定性分析後產生的影響比重評估：
文件屬性比重佔 10%
閱讀活動佔 37.5%
組織活動佔 52.5%
這個模型發展出一個較不受限於特定的文件集和使用者活動的興趣值評估方法，前面那些模型是危險的，因為他們依據的實驗數據牽涉到使用者進行的工作任務與文件的素材，不論包含多少實驗對象，這樣的模型觀點都受局限。這些模型需要依據來自其他任務與不同種類的文件集的資料來修正。
模型的比較
三種統計模型來預測使用者在文件上的興趣的能力已經經由變異性分析計算出的 R^2 數值來做比較：
模型一：R^2 = 0.477，指出閱讀活動對預測使用者對文件的興趣的影響力佔 47.7%，類似地，組織活動產生的參數值是 63.6%，最後, 兩者產生的 70.8%。
模型評估
上面的模型對照顯示出，使用合併模型可以減少預測錯誤，接下來下面的一個研究將去評估前一個章節所呈現的模型的有效度，下個章節討論研究和結果。
研究方法
研究在德州 A&M 大學的數位圖書館的研究中心進行，有 16 個研究生和大學研究協會參予。.實驗對象年齡介於 22~32，所有的實驗對象有基本的電腦與網頁瀏覽認知並且規律地使用電腦五年以上。跟之前的研究工作一樣，實驗對象被當作圖書館研究員的角色，為了替高中老師準備一堂民族課來進行選取和組織文件的工作，如此研究一個特定文化的團體，如同進行他們每天所做的活動。
VKB 是個組織應用程式，所有的實驗對象被簡短地訓練操作 VKB 來進行這些工作。VKB 允許使用者在二維的工作區的階層組織資訊物件 ( 在此研究連結到網站 ) 。實驗對象被限制使用實驗用的 IE 來當閱讀軟體。實驗對象開始利用國家科學數位圖書館的 20 個文件和 google 提供的 20 個文件，在 VKB 工作區上進行組織文件的作業，如下圖：
所有的實驗對象收到同樣 40 個連接，文件有不同程度的困難度，關聯度和主題以及卷冊資訊。
雖然沒有時間限制，所有的實驗對象都只花費少於一個半小時來進行這工作。實驗對象可以自由連接編輯移除連結，邊及顏色邊框和註記，最後他們必須給予每個文章一個評價，得分從 1 ~ 5 ( 最有用 ) ，四十個裡面有五個連接沒有被拿來分析，因為 IE 無法錄製到內嵌閱讀器的運作，例如 PDF reader。
結果
16 個實驗對象對每份文件的興趣評估從 0 ~ 2 的連續數值，調查每個模型的正確性。最正確的預測值的落差值應該是 0，然後比對每個模型對使用者的評估預測與實際比對結果如下：
混合閱讀與組織活動的模型有較低的根本上差異。經由變異數分析 ( ANOVA - 中文解釋，英文解釋 ) 發現只有閱讀活動具有代表性地與其他混合式模型不同，如同前面所說，越大的落差值，代表預測的誤差越大。0 ~ 2 中，每 0.1 代表 5% 的誤差。理想狀況，100% 的誤差都該落在 0 ~ 5% 之間，而混合判斷有 94% 都落在 0 ~ 15% 落差值上，閱讀和組織則有更多比例的落在 15% 以上，並且注意到他們都有峰值，這使得他們的預測結果更隨機而難以參考。
討論
混合 > 組織 > 閱讀，定性分析模型雖然表現不如混合型模型，但混合型模型無法保證在其他不同使用者和文件素材是否有同樣優秀的表現，而定性分析模型卻是真正針對理解使用者如何進行分析來設計的模型。實驗後，我們訪問那些實驗對象，發現定性分析模型這次表現會不如混合模型，可來來自於實驗對象對文件的評比參雜了個人觀感，或是刻板印象因素。例如，有些人根據文章的內容判斷文章的價值，但有些人評斷某些文章無用卻是因為他們站在教師的角度思考，認為這些篇幅不適合教學，所以給予較低的評價，而非文件本身的知識含量。
另外，有些人會根據文件的來源而給予較高的評價，例如文件如果來自教育或研究單位，通常可以比網路上搜尋到的文獻得到更高的價值分數，這是來自實驗對象比較信賴研究單問的文件正確性而產生的刻板印象分數。或是文件的更新較近，這也會影響實驗對象給予較高分。
更有些人根本沒讀取那些文件或是拜訪那些 URL，而直接根據標題就給予評價。總之，實驗對象的人為因素可能是造成定性分析模型比起混合模型有較大失誤的主因。
結論
作者深信定性模型才是未來發展的正確方向。我對此表示認同，也認為作者提出來的實驗誤差來源，出自於人為因素感到可信。
