09-20 10:02 |
'2016/12'에 해당되는 글 5건[웹 크롤러] crawler4j 링크ITWeb/개발일반 2016. 12. 19. 13:17웹 크롤러가 많이 있습니다. 그 중에서 그냥 java 로 쉽게 구현 할 수 있는 crawler4j 링크 공유해 봅니다. https://github.com/yasserg/crawler4j 샘플 코드는 그냥 위 링크에 올라와 있는 코드 그대로 테스트 해보시면 동작 잘 합니다. robots.txt 에러가 발생 하는 부분이 있을 경우 아래 설정 추가해 주시면 됩니다. RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); 다른 크롤러가 궁금하신 분들은 아래 구글링 링크 참고하세요. [웹사이트성능평가] sitespeed.io 설치 및 테스트ITWeb/개발일반 2016. 12. 13. 12:07웹사이트 성능 평가를 위한 무료 사이트와 도구들이 많이 있습니다. 그 중에서 제가 사용하기 위해 설치한 sitespeed.io 에 대해서 작성해 보겠습니다. [웹사이트 성능테스트 무료 사이트] - GTmetrix [sitespeed.io] [sitespeed.io 설치하기 on OSX] - xcode 가 먼저 설치 되어 있어야 합니다. - xcode 는 app store 에서 설치 하면 됩니다. xcode 설치 후 아래와 같은 에러 발생 시 "Agreeing to the Xcode/iOS license requires admin privileges, please re-run as root via sudo." $ sudo xcodebuild -license 한번 해주시면 됩니다. - nodejs 설치가 되어 있어야 합니다. - https://nodejs.org/ko/download/ - dmg 파일 다운로드 받으셔서 설치 하시면 됩니다. - sitespeed.io npm 설치 $ sudo npm install -g sitespeed.io [sitespeed.io 실행] $ sitespeed.io -h $ sitespeed.io http://www.memebox.com $ sitespeed.io -b chrome -n 10 -c 3gfast -d 1 http://m.memebox.com -b 는 브라우저 종류 지정 -n 은 실행 횟수 지정 -c 는 접속 network 지정 -d 는 page depth 지정 -h 옵션으로 상세 정보 확인이 가능 합니다. 설치 하다 에러가 발생을 할경우 아래와 같이 삭제 후 다시 설치해 보세요. $ sudo npm uninstall -g sitespeed.io $ sudo npm install -g sitespeed.io 아래는 제 개발장비에서 실행한 결과 내용입니다. $ sitespeed.io http://www.memebox.com [2016-12-13 12:04:28] Versions OS: darwin 16.1.0 nodejs: v6.9.2 sitespeed.io: 4.1.3 browsertime: 1.0.0-beta.13 coach: 0.29.0 [2016-12-13 12:04:28] Starting chrome for analysing http://www.memebox.com 3 time(s) [2016-12-13 12:04:28] Testing url http://www.memebox.com run 1 [2016-12-13 12:04:34] Testing url http://www.memebox.com run 2 [2016-12-13 12:04:41] Testing url http://www.memebox.com run 3 [2016-12-13 12:04:47] 166 requests, 6154.00 kb, firstPaint: 289ms (±4.95ms), DOMContentLoaded: 1.26s (±45.31ms), Load: 1.83s (±53.09ms), rumSpeedIndex: 299 (±3.77) (3 runs) [2016-12-13 12:04:48] Render HTML for 1 page(s) [2016-12-13 12:04:49] HTML stored in /Users/jjeong93/Dev/sitespeed-result/www.memebox.com/2016-12-13-12-04-28 [2016-12-13 12:04:49] Finished analysing http://www.memebox.com [미미박스 검색이야기] 검색 결과에서 구매를 쉽게 할수 있어요.ITWeb/미미박스검색이야기 2016. 12. 9. 12:11오늘은 미미박스의 검색결과에 적용된 간편옵션 기능에 대해서 알려 드리려고 합니다. 검색을 하다 보면 마음에 드는 상품을 바로 구매 하거나 장바구니에 담고 싶을 때가 있습니다. 간편옵션 기능은 이런 요구사항을 해소해 드리고자 적용한 기능이 되겠습니다. 이게 쇼핑 검색을 하면서 유용해야 하는데 별 의미가 없으면 어쩌나 하고 고민도 되지만 더 좋은 기능을 만들어서 쉽게 쇼핑을 할수 있도록 노력해 보겠습니다. [검색결과에서의 간편옵션] - 보시는 것 처럼 상품 이미지에 마우스를 올려 놓으시면 "상품옵션 바로선택" 매뉴가 나옵니다. - "상품옵션 바로선택"을 클릭 하시면 바로 아래에 상품 옵션 선택 창이 나오고 거기서 상품을 선택 합니다. - 선택 후 장바구니나 즉시구매를 하실 수가 있게 되는 것입니다. [상품 선택 후 상세정보 보기] - 위에 보시면 아시겠지만 상품 선택 후 상세 정보가 궁금할 수 있습니다. - 이때 선택한 상품이 유지가 되지 않는 다면 다시 상품을 선택해야 하는 번거로운 일이 발생을 하게 됩니다. - 그래서 저희는 선택하신 상품을 그대로 상세페이지에서 유지가 되도록 하였습니다. :) 별거 아닌 기능이지만 쇼핑을 좀 더 편하게 하실 수 있도록 작고 소소한 것들을 불편하지 않도록 만들어서 제공할 수 있도록 계속 노력 하겠습니다. 많은 이용 부탁 드립니다. :) ※ 본 글은 회사의 입장과는 전혀 상관이 없으며 개인적인 의견으로 작성된 글 임을 알려 드립니다. [Elasticsearch] _cat nodes/indices helpElastic/Elasticsearch 2016. 12. 6. 12:18그냥 볼일이 있어서 올려봅니다. nodes 랑 indices 만. [참고문서] https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-nodes.html id | id,nodeId | unique node id pid | p | process id host | h | host name ip | i | ip address port | po | bound transport port version | v | es version build | b | es build hash jdk | j | jdk version disk.avail | d,disk,diskAvail | available disk space heap.current | hc,heapCurrent | used heap heap.percent | hp,heapPercent | used heap ratio heap.max | hm,heapMax | max configured heap ram.current | rc,ramCurrent | used machine memory ram.percent | rp,ramPercent | used machine memory ratio ram.max | rm,ramMax | total machine memory file_desc.current | fdc,fileDescriptorCurrent | used file descriptors file_desc.percent | fdp,fileDescriptorPercent | used file descriptor ratio file_desc.max | fdm,fileDescriptorMax | max file descriptors cpu | cpu | recent cpu usage load | l | most recent load avg uptime | u | node uptime node.role | r,role,dc,nodeRole | d:data node, c:client node master | m | m:master-eligible, *:current master name | n | node name completion.size | cs,completionSize | size of completion fielddata.memory_size | fm,fielddataMemory | used fielddata cache fielddata.evictions | fe,fielddataEvictions | fielddata evictions query_cache.memory_size | qcm,queryCacheMemory | used query cache query_cache.evictions | qce,queryCacheEvictions | query cache evictions request_cache.memory_size | rcm,requestCacheMemory | used request cache request_cache.evictions | rce,requestCacheEvictions | request cache evictions request_cache.hit_count | rchc,requestCacheHitCount | request cache hit counts request_cache.miss_count | rcmc,requestCacheMissCount | request cache miss counts flush.total | ft,flushTotal | number of flushes flush.total_time | ftt,flushTotalTime | time spent in flush get.current | gc,getCurrent | number of current get ops get.time | gti,getTime | time spent in get get.total | gto,getTotal | number of get ops get.exists_time | geti,getExistsTime | time spent in successful gets get.exists_total | geto,getExistsTotal | number of successful gets get.missing_time | gmti,getMissingTime | time spent in failed gets get.missing_total | gmto,getMissingTotal | number of failed gets indexing.delete_current | idc,indexingDeleteCurrent | number of current deletions indexing.delete_time | idti,indexingDeleteTime | time spent in deletions indexing.delete_total | idto,indexingDeleteTotal | number of delete ops indexing.index_current | iic,indexingIndexCurrent | number of current indexing ops indexing.index_time | iiti,indexingIndexTime | time spent in indexing indexing.index_total | iito,indexingIndexTotal | number of indexing ops indexing.index_failed | iif,indexingIndexFailed | number of failed indexing ops merges.current | mc,mergesCurrent | number of current merges merges.current_docs | mcd,mergesCurrentDocs | number of current merging docs merges.current_size | mcs,mergesCurrentSize | size of current merges merges.total | mt,mergesTotal | number of completed merge ops merges.total_docs | mtd,mergesTotalDocs | docs merged merges.total_size | mts,mergesTotalSize | size merged merges.total_time | mtt,mergesTotalTime | time spent in merges percolate.current | pc,percolateCurrent | number of current percolations percolate.memory_size | pm,percolateMemory | memory used by percolations percolate.queries | pq,percolateQueries | number of registered percolation queries percolate.time | pti,percolateTime | time spent percolating percolate.total | pto,percolateTotal | total percolations refresh.total | rto,refreshTotal | total refreshes refresh.time | rti,refreshTime | time spent in refreshes script.compilations | scrcc,scriptCompilations | script compilations script.cache_evictions | scrce,scriptCacheEvictions | script cache evictions search.fetch_current | sfc,searchFetchCurrent | current fetch phase ops search.fetch_time | sfti,searchFetchTime | time spent in fetch phase search.fetch_total | sfto,searchFetchTotal | total fetch ops search.open_contexts | so,searchOpenContexts | open search contexts search.query_current | sqc,searchQueryCurrent | current query phase ops search.query_time | sqti,searchQueryTime | time spent in query phase search.query_total | sqto,searchQueryTotal | total query phase ops search.scroll_current | scc,searchScrollCurrent | open scroll contexts search.scroll_time | scti,searchScrollTime | time scroll contexts held open search.scroll_total | scto,searchScrollTotal | completed scroll contexts segments.count | sc,segmentsCount | number of segments segments.memory | sm,segmentsMemory | memory used by segments segments.index_writer_memory | siwm,segmentsIndexWriterMemory | memory used by index writer segments.index_writer_max_memory | siwmx,segmentsIndexWriterMaxMemory | maximum memory index writer may use before it must write buffered documents to a new segment segments.version_map_memory | svmm,segmentsVersionMapMemory | memory used by version map segments.fixed_bitset_memory | sfbm,fixedBitsetMemory | memory used by fixed bit sets for nested object field types and type filters for types referred in _parent fields suggest.current | suc,suggestCurrent | number of current suggest ops suggest.time | suti,suggestTime | time spend in suggest suggest.total | suto,suggestTotal | number of suggest ops [참고문서] https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-indices.html health | h | current health status status | s | open/close status index | i,idx | index name pri | p,shards.primary,shardsPrimary | number of primary shards rep | r,shards.replica,shardsReplica | number of replica shards docs.count | dc,docsCount | available docs docs.deleted | dd,docsDeleted | deleted docs creation.date | cd | index creation date (millisecond value) creation.date.string | cds | index creation date (as string) store.size | ss,storeSize | store size of primaries & replicas pri.store.size | | store size of primaries completion.size | cs,completionSize | size of completion pri.completion.size | | size of completion fielddata.memory_size | fm,fielddataMemory | used fielddata cache pri.fielddata.memory_size | | used fielddata cache fielddata.evictions | fe,fielddataEvictions | fielddata evictions pri.fielddata.evictions | | fielddata evictions query_cache.memory_size | qcm,queryCacheMemory | used query cache pri.query_cache.memory_size | | used query cache query_cache.evictions | qce,queryCacheEvictions | query cache evictions pri.query_cache.evictions | | query cache evictions request_cache.memory_size | rcm,requestCacheMemory | used request cache pri.request_cache.memory_size | | used request cache request_cache.evictions | rce,requestCacheEvictions | request cache evictions pri.request_cache.evictions | | request cache evictions request_cache.hit_count | rchc,requestCacheHitCount | request cache hit count pri.request_cache.hit_count | | request cache hit count request_cache.miss_count | rcmc,requestCacheMissCount | request cache miss count pri.request_cache.miss_count | | request cache miss count flush.total | ft,flushTotal | number of flushes pri.flush.total | | number of flushes flush.total_time | ftt,flushTotalTime | time spent in flush pri.flush.total_time | | time spent in flush get.current | gc,getCurrent | number of current get ops pri.get.current | | number of current get ops get.time | gti,getTime | time spent in get pri.get.time | | time spent in get get.total | gto,getTotal | number of get ops pri.get.total | | number of get ops get.exists_time | geti,getExistsTime | time spent in successful gets pri.get.exists_time | | time spent in successful gets get.exists_total | geto,getExistsTotal | number of successful gets pri.get.exists_total | | number of successful gets get.missing_time | gmti,getMissingTime | time spent in failed gets pri.get.missing_time | | time spent in failed gets get.missing_total | gmto,getMissingTotal | number of failed gets pri.get.missing_total | | number of failed gets indexing.delete_current | idc,indexingDeleteCurrent | number of current deletions pri.indexing.delete_current | | number of current deletions indexing.delete_time | idti,indexingDeleteTime | time spent in deletions pri.indexing.delete_time | | time spent in deletions indexing.delete_total | idto,indexingDeleteTotal | number of delete ops pri.indexing.delete_total | | number of delete ops indexing.index_current | iic,indexingIndexCurrent | number of current indexing ops pri.indexing.index_current | | number of current indexing ops indexing.index_time | iiti,indexingIndexTime | time spent in indexing pri.indexing.index_time | | time spent in indexing indexing.index_total | iito,indexingIndexTotal | number of indexing ops pri.indexing.index_total | | number of indexing ops indexing.index_failed | iif,indexingIndexFailed | number of failed indexing ops pri.indexing.index_failed | | number of failed indexing ops merges.current | mc,mergesCurrent | number of current merges pri.merges.current | | number of current merges merges.current_docs | mcd,mergesCurrentDocs | number of current merging docs pri.merges.current_docs | | number of current merging docs merges.current_size | mcs,mergesCurrentSize | size of current merges pri.merges.current_size | | size of current merges merges.total | mt,mergesTotal | number of completed merge ops pri.merges.total | | number of completed merge ops merges.total_docs | mtd,mergesTotalDocs | docs merged pri.merges.total_docs | | docs merged merges.total_size | mts,mergesTotalSize | size merged pri.merges.total_size | | size merged merges.total_time | mtt,mergesTotalTime | time spent in merges pri.merges.total_time | | time spent in merges percolate.current | pc,percolateCurrent | number of current percolations pri.percolate.current | | number of current percolations percolate.memory_size | pm,percolateMemory | memory used by percolations pri.percolate.memory_size | | memory used by percolations percolate.queries | pq,percolateQueries | number of registered percolation queries pri.percolate.queries | | number of registered percolation queries percolate.time | pti,percolateTime | time spent percolating pri.percolate.time | | time spent percolating percolate.total | pto,percolateTotal | total percolations pri.percolate.total | | total percolations refresh.total | rto,refreshTotal | total refreshes pri.refresh.total | | total refreshes refresh.time | rti,refreshTime | time spent in refreshes pri.refresh.time | | time spent in refreshes search.fetch_current | sfc,searchFetchCurrent | current fetch phase ops pri.search.fetch_current | | current fetch phase ops search.fetch_time | sfti,searchFetchTime | time spent in fetch phase pri.search.fetch_time | | time spent in fetch phase search.fetch_total | sfto,searchFetchTotal | total fetch ops pri.search.fetch_total | | total fetch ops search.open_contexts | so,searchOpenContexts | open search contexts pri.search.open_contexts | | open search contexts search.query_current | sqc,searchQueryCurrent | current query phase ops pri.search.query_current | | current query phase ops search.query_time | sqti,searchQueryTime | time spent in query phase pri.search.query_time | | time spent in query phase search.query_total | sqto,searchQueryTotal | total query phase ops pri.search.query_total | | total query phase ops search.scroll_current | scc,searchScrollCurrent | open scroll contexts pri.search.scroll_current | | open scroll contexts search.scroll_time | scti,searchScrollTime | time scroll contexts held open pri.search.scroll_time | | time scroll contexts held open search.scroll_total | scto,searchScrollTotal | completed scroll contexts pri.search.scroll_total | | completed scroll contexts segments.count | sc,segmentsCount | number of segments pri.segments.count | | number of segments segments.memory | sm,segmentsMemory | memory used by segments pri.segments.memory | | memory used by segments segments.index_writer_memory | siwm,segmentsIndexWriterMemory | memory used by index writer pri.segments.index_writer_memory | | memory used by index writer segments.index_writer_max_memory | siwmx,segmentsIndexWriterMaxMemory | maximum memory index writer may use before it must write buffered documents to a new segment pri.segments.index_writer_max_memory | | maximum memory index writer may use before it must write buffered documents to a new segment segments.version_map_memory | svmm,segmentsVersionMapMemory | memory used by version map pri.segments.version_map_memory | | memory used by version map segments.fixed_bitset_memory | sfbm,fixedBitsetMemory | memory used by fixed bit sets for nested object field types and type filters for types referred in _parent fields pri.segments.fixed_bitset_memory | | memory used by fixed bit sets for nested object field types and type filters for types referred in _parent fields warmer.current | wc,warmerCurrent | current warmer ops pri.warmer.current | | current warmer ops warmer.total | wto,warmerTotal | total warmer ops pri.warmer.total | | total warmer ops warmer.total_time | wtt,warmerTotalTime | time spent in warmers pri.warmer.total_time | | time spent in warmers suggest.current | suc,suggestCurrent | number of current suggest ops pri.suggest.current | | number of current suggest ops suggest.time | suti,suggestTime | time spend in suggest pri.suggest.time | | time spend in suggest suggest.total | suto,suggestTotal | number of suggest ops pri.suggest.total | | number of suggest ops memory.total | tm,memoryTotal | total used memory pri.memory.total | | total user memory [미미박스 검색이야기] 검색로그 기반의 추천과 데이터.ITWeb/미미박스검색이야기 2016. 12. 5. 12:3712월 5일 오픈한 미미박스의 상세페이지 내 추천 데이터에 대해서 알려 드리려고 합니다. 추천 데이터 마트 구성은 10월 중순에 시작해서 11월 초에 완료를 했었는데요. 서비스에 적용은 12월 5일에 되었습니다. 초기 추천 데이터 구성을 위해 아래와 같은 데이터를 만들어야 했습니다. 아주 기본적인 추천 데이터라 누구라도 쉽게 하실 수 있을 것이라 생각 됩니다. [검색로그 기반 추천 데이터] - 나와 같은 검색어로 검색한 사람들의 다른 검색어 - 나와 같은 상품을 본 사람들이 본 다른 상품 - 나와 같은 검색어를 입력한 사람들이 본 다른 상품 - 내가 보고 있는 상품이 속한 카테고리의 상품 중 다른 사람이 본 상품 - 내가 보고 있는 상품이 속한 브랜드의 상품 중 다른 사람이 본 상품 그 이외 - 카테고리 별 인기 검색어 (구현 되어 있음) - 브랜드 별 인기 검색어 (구현 되어 있음) - 키워드 별 인기 카테고리 (구현 되어 있음) - 키워드 별 인기 브랜드 (구현 되어 있음) - 구매 기반의 추천 데이터 - 장바구니 기반의 추천 데이터 - 사용자 기호/성향 등에 의한 추천 데이터 등등 앞으로도 해야 할것이 많이 남아 있기는 합니다. [이 상품을 본 다른 고객들이 본 다른 상품] - 다른 고객님이 함께 보신 상품으로 노출 되고 있습니다. [내가 보고 있는 상품이 속한 카테고리 내 다른 고객들이 많이 찾아 본 상품] - 페이스 메이크업 카테고리 BEST 로 노출 되고 있습니다. [내가 보고 있는 상품이 속한 브랜드 내 다른 고객들이 많이 찾아 본 상품] - 미미박스 브랜드 BEST 로 노출 되고 있습니다. 추천 상품이 실제 고객에게 도움이 될 수 있도록 앞으로 더 발전 시켜 나가 보도록 하겠습니다. 많이 사용해 주세요. ^^ ※ 본 글은 회사의 입장과는 전혀 상관이 없으며 개인적인 의견으로 작성된 글 임을 알려 드립니다. |
